반응형 분류 전체보기130 [Faiss] cpu_index.add() ValueError: too many values to unpack [Error] Traceback (most recent call last): File "Handler.py", line 39, in _service.indexing(model_path) File "Handler.py", line 22, in indexing self.cpu_index.add(emb) File "/home/lib/python3.6/site-packages/faiss/__init__.py", line 103, in replacement_add n, d = x.shape ValueError: too many values to unpack (expected 2) 이 Error log는 index.add의 input의 shape이 2차원이어야 하는데 3차원 이상이어서 발생한다! 실제로 찍어보니 -.. 2022. 8. 19. [Pytorch][BERT] 버트 소스코드 이해_⑤ BertEmbedding [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 👀 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput 1. BertEmbedding 이란? : BertEocder에 들어갈 임베딩 생성 = WordPiece Embedding + Position Embedding + Segment Embedding Embedding 설명 default WordPiece Embedding (=word_embeddings) 실질적인 입력이 되는 워드 임베딩 단어 집합.. 2022. 7. 6. [Pytorch][BERT] 버트 소스코드 이해_④ BertModel [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 👀 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertModel 🎅 BertModel을 통해 데이터가 어떻게 움직일까? [Step1] BertEmbedding 인코더에 전달할 텍스트 임베딩 생성 [Step2] BertEncdoer 텍스트 임베딩을 인코더를 통해 정보 압축 [Step3] BertPooler 최종 임베딩 값 반환 🎅 각 단계에서 무슨 일이? 1. BertEmbedding 202.. 2022. 7. 5. [Pytorch][BERT] 버트 소스코드 이해_③ BertTokenizer [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 📑 BERT Tokenizer 👀 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertTokenizer 1. BertTokenizer의 이해 Tokenizer 정의: 주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업 BertTokenizer는 무엇이 특별한가? WordPiece Tokenizer(BPE의 변형 알고리즘) 적용 BPE(Byte Pair Encoding): OOV(Out-Of-V.. 2022. 7. 5. [Pytorch][BERT] 버트 소스코드 이해_② BertConfig [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 📑 BERT Config 👀 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput BertConfig configuration_bert.py class BertConfig(PretrainedConfig): def __init__( self, vocab_size=30522, hidden_size=768, num_hidden_layers=12, num_attention_heads=12, intermediate_size=3072,.. 2022. 7. 5. [Pytorch][BERT] 버트 소스코드 이해 [Pytorch][BERT] 버트 소스코드 이해 목차 BERT 👀 📑 BERT Config 📑 BERT Tokenizer 📑 BERT Model 📑 BERT Input 📑 BERT Output 📑 BERT Embedding 📑 BERT Pooler 📑 BERT Enocder 📑 BERT Layer 📑 BERT SelfAttention 📑 BERT SelfOtput ✅ 기본적인 Bert 모델의 사용은 아래 코드와 같다 : Tokenizer로 BertModel의 입력값을 만든 후, 넣어서 출력값 생성 from transformers import BertTokenizer, BertModel import torch tokenizer = BertTokenizer.from_pretrained("bert-base-u.. 2022. 7. 5. [음성 기초] Vocoder (보코더) 1. 보코더의 정의 1) 위키백과 https://ko.wikipedia.org/wiki/%EB%B3%B4%EC%BD%94%EB%8D%94 보코더(영어 : vocoder)는 《보이스》(voice)와 《코더》(coder)의 합성어로, 전자 악기와 이펙터의 일종이다. 신시사이저의 종류로 분류되기도 한다. 본래의 의미는 통신을 위한 음성 압축 기술로, 휴대폰 등 다양한 기기에 사용되고 있다. 음성 파형을 직접 보내는 것이 아니라 매개 변수가 보내고, 수신 측에서는 그 매개 변수에서 원본 음성을 합성한다. 음악용 보코더는 이 기술을 응용한 것이다. - 원래 보코더는 음성 통신에서 음성 압축 기술로 태어난 것으로, 미국의 벨 연구소의 호머 더들리 (Homer Dudley)가 1928년에 기본적인 아이디어를 발안했다.. 2022. 3. 2. [음성딥러닝] 고전적인 음성합성 모델① : Unit-Selection speech synthesis 최근에는 음성합성 분야에서 End-to-End 딥러닝 모델들이 많이 등장하고, 좋은 성능을 기록하고 있습니다. 그 이전 단계의 음성합성 분야에서는 어떤 모델들이 많이 쓰였는지 살펴보도록 하겠습니다. 1) Unit-Selection speech synthesis [1] - concatenative synthesis의 한 유형 - 작은 단위로 이루어진 사전 녹음된 waveform들을 붙여서 전체를 완성 - 딥러닝 기반 End-to-End 모델 등장 이전 대세를 이루던 방법론 1) A. J. Hunt and A. W. Black, “Unit selection in a concatenative speech synthesis system using a large speech database,” in Proc. I.. 2022. 2. 26. [논문리뷰] SupCon(2020), Supervised Contrastive Learning SupCon(2020), Supervised Contrastive Learning [저자] Prannay Khosla(Google Reasearch), Piotr Teterwak(Boston University), Chen Wang(Snap Inc.), Aaron Sarna(Google Reasearch), Yonglong Tian(MIT), Phillip Isola(MIT), Aaron Maschinot(Google Reasearch), Ce Liu(Google Reasearch), Dilip Krishnan(Google Reasearch) [인용수] 528회인용 (구글 스칼라 검색 기준) [버전] 5개 [v1] 23 Apr 2020 , [v2] 29 Oct 2020 , [v3] 13 Nov 2020,.. 2022. 1. 7. [딥러닝][기초] 가중치 초기화(Weight Initializers) 아래의 해외 블로그들을 참고하여 작성한 글입니다 :) https://intoli.com/blog/neural-network-initialization/ Understanding Neural Network Weight Initialization Exploring the effects of neural network weight initialization strategies. intoli.com https://towardsdatascience.com/hyper-parameters-in-action-part-ii-weight-initializers-35aee1a28404 1. 가중치 초기화란? - 신경망을 구축하고 훈련할 때 우리는 크고 작은 선택들을 해야 합니다. 어떤 손실 함수를 사용할지, 몇 개의 레이어.. 2021. 10. 6. [파이토치] 미니배치와 데이터 로드 하기 아래 파이토치 튜토리얼들과 wikidocs를 참고하여 작성한 글입니다. https://wikidocs.net/55580 https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.Dataset https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.DataLoader https://tutorials.pytorch.kr/beginner/basics/data_tutorial.html Dataset과 Dataloader — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download .. 2021. 9. 16. [파이토치] Autograd 파이토치 튜토리얼을 참고하여 정리한 글입니다. https://tutorials.pytorch.kr/beginner/blitz/autograd_tutorial.html torch.autograd 에 대한 간단한 소개 — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download the full example code torch.autograd 에 대한 간단한 소개 torch.autograd 는 신경망 학습을 지원하는 PyTorch의 자동 미분 엔진입니다. 이 단원에서는 autograd가 신경망 학습을 어떻게 돕는 tutorials.pytorch.kr 1. Introduction - 넘파이의 array와 파이토치의 tensor는 기초적인 .. 2021. 9. 8. [파이토치] 텐서 기초 1. 텐서(tensor)의 생성 x = torch.arange(6).reshape(2,3) x # tensor([[0, 1, 2], # [3, 4, 5]]) 2. 텐서(tensor)의 인덱싱 tensor[row_num , colum_num] x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[1,1]) # tensor(4) 3. 텐서(tensor)의 슬라이싱 tensor[ : , a : b] ① ' : ' -> 전체 row/column x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[ : , 1 ]) # tensor([1, 4]) ② ' a : b ' -> row/column a에서 b-1까지 x # tensor([[0, 1, 2], # [3,.. 2021. 9. 8. [딥러닝][파이토치] 이그나이트 이벤트(Ignite Events) 이 글은 아래 Pytorch document 링크를 보고 정리한 글입니다. https://pytorch.org/ignite/generated/ignite.engine.events.Events.html#ignite.engine.events.Events Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org 1. Events란? - Events는 실행 중 엔진에서 발생하는 이벤트로, 파이토치 이그나이트에서 사전에 정의하여 기본 제공하는 이벤.. 2021. 9. 3. [딥러닝][파이토치] 이그나이트_엔진(Ignite_Engine) 이 글은 아래 튜토리얼을 따라서 공부한 내용을 정리한 글입니다 :) > Pytorch Ignite Concepts https://pytorch.org/ignite/concepts.html Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org > Convolutional Neural Networks for Classifying Fashion-MNIST Dataset using Ignite https://colab.research.goog.. 2021. 9. 3. 이전 1 2 3 4 5 6 7 8 9 다음 more 반응형
