[Pytorch][BERT] 버트 소스코드 이해

[Pytorch][BERT] 버트 소스코드 이해 목차
BERT 👀	📑 BERT Config
	📑 BERT Tokenizer
	📑 BERT Model	📑 BERT Input
		📑 BERT Output
		📑 BERT Embedding
		📑 BERT Pooler
		📑 BERT Enocder	📑 BERT Layer	📑 BERT SelfAttention
				📑 BERT SelfOtput

 

✅ 기본적인 Bert 모델의 사용은 아래 코드와 같다

: Tokenizer로 BertModel의 입력값을 만든 후, 넣어서 출력값 생성

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state

 

✅ BERT의 메인 3가지 클래스  이해

 

1. BertConfig 

2022.07.05 - [파이토치(Pytorch)] - [Pytorch][BERT] 소스 코드 이해_BertConfig(configuration_bert.py)

[Pytorch][BERT] 소스 코드 이해_BertConfig(configuration_bert.py)

2. BertTokenizer

2022.07.05 - [파이토치(Pytorch)] - [Pytorch][BERT] 소스 코드 이해_BertTokenizer (tokenization_bert.py)

[Pytorch][BERT] 소스 코드 이해_BertTokenizer (tokenization_bert.py)

 

3. BertModel

2022.07.05 - [파이토치(Pytorch)] - [Pytorch][BERT] 소스 코드 이해_ BertModel (modeling_bert.py)

---

<source code>

transformers/modeling_bert.py at v4.20.1 · huggingface/transformers

GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.