이 글은 아래 사이트 페이지를 정리한 글입니다.
https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a
Neural Machine Translation using Bahdanau Attention Mechanism
Table of Contents
medium.com
1. Bahdanau Attention(바다나우 어텐션)이란?
- 앞의 블로그에서 우리는 Attention이 무엇인지에 대해서 알아보았습니다.
2021.05.12 - [자연어처리(NLP)] - [NLP] Attention Mechanism(어텐션)
[NLP] Attention Mechanism(어텐션)
이 글은 아래 사이트의 글과 udemy의 'deep learning advanced nlp(Lazy Programmer)의 강의를 정리한 내용입니다. https://www.udemy.com/course/deep-learning-advanced-nlp/ towardsdatascience.com/attn-illus..
hyen4110.tistory.com
- 그리고 attention은 alignment score function의 종류에 따라서 여러가지 다양한 attention이 존재한다는것을 확인하였는데요, 그 중 이번에 알아볼 attention은 Bahdanau Attention(바다나우 어텐션) 입니다.
[Luong Attention vs Bahdanau Attention]
- 앞서 배운 기본 어텐션인 Luong Attention(루옹 어텐션)과 Bahadanau Attention(바다나우 어텐션)은 서로 어떻게 다른지 살펴보겠습니다.
- 바다나우 어텐션은 bi-directional encoder에 있는 forward와 backward 은닉상태와 non stacking uni-directional decoder에 있는 이전 time step의 은닉상태를 합하여(concatenate) 사용합니다. 반면에 루옹 어텐션은 encoder와 decoder 양쪽 LSTM의 가장 최상위 layer의 은닉층만을 사용합니다.
- Bahdanau attention은 공동으로 align하고 번역하는 것을 학습하는 어텐션으로, ecoder state와 decoder state의 선형결합을 수행하기 떄문에 Additive attention이라고도 불립니다. (*alignment란? 번역 전 텍스트 부분을 번역 후 부분과 연결하는 것)
-
'AI > 딥러닝 기초(Deep learning)' 카테고리의 다른 글
| [딥러닝][퀴즈] CNN(Convolutional Neural Network) (0) | 2021.05.20 |
|---|---|
| [NLP] Transformer(트랜스포머)_1) Warm up (0) | 2021.05.17 |
| [NLP] Attention Mechanism(어텐션) (0) | 2021.05.12 |
| [NLP] Sequence to Seqence(Seq2Seq) (0) | 2021.05.12 |
| [딥러닝][NLP] Bidirectional RNN (0) | 2021.05.12 |
댓글