[Pytorch][BERT] 버트 소스코드 이해_⑥ BertEncoder

[Pytorch][BERT] 버트 소스코드 이해 목차
BERT	📑 BERT Config
	📑 BERT Tokenizer
	📑 BERT Model	📑 BERT Input
		📑 BERT Output
		📑 BERT Embedding
		📑 BERT Pooler
		📑 BERT Enocder 👀	📑 BERT Layer	📑 BERT SelfAttention
				📑 BERT SelfOtput

 

 

BertEncoder

• init 함수를 보니 많은 BertLayer 로 이루어져있다
• ⇒ BertEncoder → BertLayer → BertAttention→ BertSelfAttention

class BertEncoder(nn.Module):
    def __init__(self, config):
        super().__init__()
        self.config = config
        self.layer = nn.ModuleList([**BertLayer**(config) for _ in range(config.num_hidden_layers)])
        self.gradient_checkpointing = False

 

 

✅ BertLayer 의 이해

2022.10.28 - [자연어처리(NLP)] - [Pytorch][BERT] 버트 소스코드 이해_⑩ BERT Layer

[Pytorch][BERT] 버트 소스코드 이해_⑩ BERT Layer