Jisoo Kim's DevBlog

소프트웨어 마에스트로 Expert 활동 후기

네이버를 다닌지도 어느덧 1년 반 정도가 지나던 시점에, 이전에 활동했던 소프트웨어 마에스트로 프로그램에서 ‘SOMA Expert’라는 개발자 멘토링 활동자를 모집한다는 메일을 받았다. 사실 매년 모집하고 있어서 메일을 받은지는 몇번 되었는데 항상 아직은 지원할 때가 아닌것 같다는 생각이 들었다. 하지만 이번에 메일을 받았을 때는 1년 반동안 내가 ...

BERT 분해하기! (3) Transformer 원리 ② - 디코더

BERT에는 트랜스포머의 인코더만 쓰이지만 우리는 공부를 위해 디코더 부분도 살펴보자. 아니 인코더 설명도 엄청 길었는데 디코더는 또 언제 배워… 하고 이 글을 나가지 말았으면 좋겠다😂 다행히도 인코더랑 겹치는 부분이 많아서 금방 이해할 수 있다. 이번에도 1) 인풋 데이터, 2) 각 레이어 순으로 분석해보자. 앞서 인코더를 설명할 때 말했듯 ...

BERT 분해하기! (2) Transformer 원리 ① - 인코더

BERT는 Transformer 구조의 인코더를 사용한 모델이다. 그렇다면 먼저 Transformer 가 어떠한 구조로 작동하는지 알아볼 필요가 있다. BERT를 공부하려면 인코더 부분만 알면 되지만, 공부를 위해 전체 구조를 다 알아보자. 일단 인코더부터 알아보자! 트랜스포머의 1) 데이터 흐름, 2) 인풋 데이터, 3) 각 레이어 순으로 모델을 ...