본문 바로가기

AI/파이토치(Pytorch)15

[Pytorch][Error] ’BertTokenizerFast' object has no attribute '_in_target_context_manager' Pytorch에서 Transformer 라이브러리를 사용하는데 여러 가상환경에서 테스트를 해보다가 이전에는 없었던 아래 에러가 발생하는것을 확인 ’BertTokenizerFast' object has no attribute '_in_target_context_manager' 찾아보니, transformers 라이브러리 4.22.x 와 4.21.x 버전에서 같은 에러가 발생한다고함 더 낮은 버전으로 다운그레이드하여 해결 pip install --force-reinstall transformers==4.20.1 https://github.com/MaartenGr/BERTopic/issues/718#issuecomment-1248934705 'BertTokenizerFast' object has no attr.. 2022. 12. 12.
[Pytorch][BERT] 버트 소스코드 이해_⑥ BertEncoder [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 👀 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertEncoder init 함수를 보니 많은 BertLayer 로 이루어져있다 ⇒ BertEncoder → BertLayer → BertAttention→ BertSelfAttention class BertEncoder(nn.Module): def __init__(self, config): super().__init__() self.conf.. 2022. 9. 30.
[Pytorch][BERT] 버트 소스코드 이해_⑤ BertEmbedding [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 👀 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput 1. BertEmbedding 이란? : BertEocder에 들어갈 임베딩 생성 = WordPiece Embedding + Position Embedding + Segment Embedding Embedding 설명 default WordPiece Embedding (=word_embeddings) 실질적인 입력이 되는 워드 임베딩 단어 집합.. 2022. 7. 6.
[Pytorch][BERT] 버트 소스코드 이해_④ BertModel [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 👀 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertModel 🎅 BertModel을 통해 데이터가 어떻게 움직일까? [Step1] BertEmbedding 인코더에 전달할 텍스트 임베딩 생성 [Step2] BertEncdoer 텍스트 임베딩을 인코더를 통해 정보 압축 [Step3] BertPooler 최종 임베딩 값 반환 🎅 각 단계에서 무슨 일이? 1. BertEmbedding 202.. 2022. 7. 5.
[Pytorch][BERT] 버트 소스코드 이해_③ BertTokenizer [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 👀 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertTokenizer 1. BertTokenizer의 이해 Tokenizer 정의: 주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업 BertTokenizer는 무엇이 특별한가? WordPiece Tokenizer(BPE의 변형 알고리즘) 적용 BPE(Byte Pair Encoding): OOV(Out-Of-V.. 2022. 7. 5.
[Pytorch][BERT] 버트 소스코드 이해_② BertConfig [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 👀 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertConfig configuration_bert.py class BertConfig(PretrainedConfig): def __init__( self, vocab_size=30522, hidden_size=768, num_hidden_layers=12, num_attention_heads=12, intermediate_size=3072,.. 2022. 7. 5.
[Pytorch][BERT] 버트 소스코드 이해 [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 👀 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput ✅ 기본적인 Bert 모델의 사용은 아래 코드와 같다 : Tokenizer로 BertModel의 입력값을 만든 후, 넣어서 출력값 생성 from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained("bert-base-u.. 2022. 7. 5.
[파이토치] 미니배치와 데이터 로드 하기 아래 파이토치 튜토리얼들과 wikidocs를 참고하여 작성한 글입니다. https://wikidocs.net/55580 https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.Dataset https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.DataLoader https://tutorials.pytorch.kr/beginner/basics/data_tutorial.html Dataset과 Dataloader — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download .. 2021. 9. 16.
[파이토치] Autograd 파이토치 튜토리얼을 참고하여 정리한 글입니다. https://tutorials.pytorch.kr/beginner/blitz/autograd_tutorial.html torch.autograd 에 대한 간단한 소개 — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download the full example code torch.autograd 에 대한 간단한 소개 torch.autograd 는 신경망 학습을 지원하는 PyTorch의 자동 미분 엔진입니다. 이 단원에서는 autograd가 신경망 학습을 어떻게 돕는 tutorials.pytorch.kr 1. Introduction - 넘파이의 array와 파이토치의 tensor는 기초적인 .. 2021. 9. 8.
[파이토치] 텐서 기초 1. 텐서(tensor)의 생성 x = torch.arange(6).reshape(2,3) x # tensor([[0, 1, 2], # [3, 4, 5]]) 2. 텐서(tensor)의 인덱싱 tensor[row_num , colum_num] x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[1,1]) # tensor(4) 3. 텐서(tensor)의 슬라이싱 tensor[ : , a : b] ① ' : ' -> 전체 row/column x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[ : , 1 ]) # tensor([1, 4]) ② ' a : b ' -> row/column a에서 b-1까지 x # tensor([[0, 1, 2], # [3,.. 2021. 9. 8.
[딥러닝][파이토치] 이그나이트 이벤트(Ignite Events) 이 글은 아래 Pytorch document 링크를 보고 정리한 글입니다. https://pytorch.org/ignite/generated/ignite.engine.events.Events.html#ignite.engine.events.Events Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org 1. Events란? - Events는 실행 중 엔진에서 발생하는 이벤트로, 파이토치 이그나이트에서 사전에 정의하여 기본 제공하는 이벤.. 2021. 9. 3.
[딥러닝][파이토치] 이그나이트_엔진(Ignite_Engine) 이 글은 아래 튜토리얼을 따라서 공부한 내용을 정리한 글입니다 :) > Pytorch Ignite Concepts https://pytorch.org/ignite/concepts.html Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org > Convolutional Neural Networks for Classifying Fashion-MNIST Dataset using Ignite https://colab.research.goog.. 2021. 9. 3.
[NLP][파이토치] seq2seq - Decoder(디코더) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 불러오는 중입니다... [NLP][파이토치] seq2seq - Attention(어텐션) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&K.. hyen4110.tistory.c.. 2021. 8. 30.
[NLP][파이토치] seq2seq - Attention(어텐션) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 김기현의 자연어 처리 딥러닝 캠프: 파이토치 편 - 교보문고 딥러닝 기반의 자연어 처리 기초부터 심화까지 | 저자의 현장 경험과 인사이트를 녹여낸 본격적인 활용 가이드 이 책은 저자가 현장에서 실제로 시스템을 구축하며 얻은 경험과 그로부터 얻은 www.kyobobook.co.kr * 수식으로 확인하는 Attention > 지난 글 2021.05.12 - [자연어처리(NLP)] - [NLP] Attention Mec.. 2021. 8. 30.
[NLP][파이토치] seq2seq - Encoder(인코더) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 김기현의 자연어 처리 딥러닝 캠프: 파이토치 편 - 교보문고 딥러닝 기반의 자연어 처리 기초부터 심화까지 | 저자의 현장 경험과 인사이트를 녹여낸 본격적인 활용 가이드 이 책은 저자가 현장에서 실제로 시스템을 구축하며 얻은 경험과 그로부터 얻은 www.kyobobook.co.kr *수식으로 확인하는 Encoder > 지난 글 : 2021.05.12 - [자연어처리(NLP)] - [NLP] Sequence to Se.. 2021. 8. 29.

티스토리툴바