Jisoo Kim's DevBlog

BERT 분해하기! (3) Transformer 원리 ② - 디코더

BERT에는 트랜스포머의 인코더만 쓰이지만 우리는 공부를 위해 디코더 부분도 살펴보자. 아니 인코더 설명도 엄청 길었는데 디코더는 또 언제 배워… 하고 이 글을 나가지 말았으면 좋겠다😂 다행히도 인코더랑 겹치는 부분이 많아서 금방 이해할 수 있다. 이번에도 1) 인풋 데이터, 2) 각 레이어 순으로 분석해보자. 앞서 인코더를 설명할 때 말했듯 ...

BERT 분해하기! (2) Transformer 원리 ① - 인코더

BERT는 Transformer 구조의 인코더를 사용한 모델이다. 그렇다면 먼저 Transformer 가 어떠한 구조로 작동하는지 알아볼 필요가 있다. BERT를 공부하려면 인코더 부분만 알면 되지만, 공부를 위해 전체 구조를 다 알아보자. 일단 인코더부터 알아보자! 트랜스포머의 1) 데이터 흐름, 2) 인풋 데이터, 3) 각 레이어 순으로 모델을 ...