자연어처리(NLP)17 [NLP][논문리뷰] ALBERT: A lite BERT for self-supervised learning of language representations 이번 글에서는 구글과 도요타에서 작년 2020년 ICLR에 발표한 논문인 'ALBERT: A lite BERT for self-supervised learning of language representations'에 대해서 리뷰하도록 하겠습니다. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases becom.. 2021. 5. 29. [NLP] BERT(버트) 이번 글에서는 BERT의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같습니다. 1) KoreaUniv DSBA 08-5: BERT https://www.youtube.com/watch?v=IwtexRHoWG0 2) http://jalammar.github.io/illustrated-bert/ 1. BERT(Bidirectional Encoder Representations from Transformers)란? 1.1 등장 배경 - 트랜스포머의 등장으로 인한 기계번역 분야에서의 성과로 인해서, 트랜스포머는 다른 분야에서도 LSTM을 대체할 수 있는 후보로 대두되었습니다. - 그러나 트랜스포머의 인코더-디코더 구조는 기계번역 task에는 아주 완벽하지만, 만약.. 2021. 5. 26. 이전 1 2 다음
