본문 바로가기

AI51

[음성딥러닝] 고전적인 음성합성 모델① : Unit-Selection speech synthesis 최근에는 음성합성 분야에서 End-to-End 딥러닝 모델들이 많이 등장하고, 좋은 성능을 기록하고 있습니다. 그 이전 단계의 음성합성 분야에서는 어떤 모델들이 많이 쓰였는지 살펴보도록 하겠습니다. 1) Unit-Selection speech synthesis [1] - concatenative synthesis의 한 유형 - 작은 단위로 이루어진 사전 녹음된 waveform들을 붙여서 전체를 완성 - 딥러닝 기반 End-to-End 모델 등장 이전 대세를 이루던 방법론 1) A. J. Hunt and A. W. Black, “Unit selection in a concatenative speech synthesis system using a large speech database,” in Proc. I.. 2022. 2. 26.
[논문리뷰] SupCon(2020), Supervised Contrastive Learning SupCon(2020), Supervised Contrastive Learning [저자] Prannay Khosla(Google Reasearch), Piotr Teterwak(Boston University), Chen Wang(Snap Inc.), Aaron Sarna(Google Reasearch), Yonglong Tian(MIT), Phillip Isola(MIT), Aaron Maschinot(Google Reasearch), Ce Liu(Google Reasearch), Dilip Krishnan(Google Reasearch) [인용수] 528회인용 (구글 스칼라 검색 기준) [버전] 5개 [v1] 23 Apr 2020 , [v2] 29 Oct 2020 , [v3] 13 Nov 2020,.. 2022. 1. 7.
[딥러닝][기초] 가중치 초기화(Weight Initializers) 아래의 해외 블로그들을 참고하여 작성한 글입니다 :) https://intoli.com/blog/neural-network-initialization/ Understanding Neural Network Weight Initialization Exploring the effects of neural network weight initialization strategies. intoli.com https://towardsdatascience.com/hyper-parameters-in-action-part-ii-weight-initializers-35aee1a28404 1. 가중치 초기화란? - 신경망을 구축하고 훈련할 때 우리는 크고 작은 선택들을 해야 합니다. 어떤 손실 함수를 사용할지, 몇 개의 레이어.. 2021. 10. 6.
[파이토치] 미니배치와 데이터 로드 하기 아래 파이토치 튜토리얼들과 wikidocs를 참고하여 작성한 글입니다. https://wikidocs.net/55580 https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.Dataset https://pytorch.org/docs/stable/data.html?highlight=dataset#torch.utils.data.DataLoader https://tutorials.pytorch.kr/beginner/basics/data_tutorial.html Dataset과 Dataloader — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download .. 2021. 9. 16.
[파이토치] Autograd 파이토치 튜토리얼을 참고하여 정리한 글입니다. https://tutorials.pytorch.kr/beginner/blitz/autograd_tutorial.html torch.autograd 에 대한 간단한 소개 — PyTorch Tutorials 1.9.0+cu102 documentation Note Click here to download the full example code torch.autograd 에 대한 간단한 소개 torch.autograd 는 신경망 학습을 지원하는 PyTorch의 자동 미분 엔진입니다. 이 단원에서는 autograd가 신경망 학습을 어떻게 돕는 tutorials.pytorch.kr 1. Introduction - 넘파이의 array와 파이토치의 tensor는 기초적인 .. 2021. 9. 8.
[파이토치] 텐서 기초 1. 텐서(tensor)의 생성 x = torch.arange(6).reshape(2,3) x # tensor([[0, 1, 2], # [3, 4, 5]]) 2. 텐서(tensor)의 인덱싱 tensor[row_num , colum_num] x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[1,1]) # tensor(4) 3. 텐서(tensor)의 슬라이싱 tensor[ : , a : b] ① ' : ' -> 전체 row/column x # tensor([[0, 1, 2], # [3, 4, 5]]) print(x[ : , 1 ]) # tensor([1, 4]) ② ' a : b ' -> row/column a에서 b-1까지 x # tensor([[0, 1, 2], # [3,.. 2021. 9. 8.
[딥러닝][파이토치] 이그나이트 이벤트(Ignite Events) 이 글은 아래 Pytorch document 링크를 보고 정리한 글입니다. https://pytorch.org/ignite/generated/ignite.engine.events.Events.html#ignite.engine.events.Events Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org 1. Events란? - Events는 실행 중 엔진에서 발생하는 이벤트로, 파이토치 이그나이트에서 사전에 정의하여 기본 제공하는 이벤.. 2021. 9. 3.
[딥러닝][파이토치] 이그나이트_엔진(Ignite_Engine) 이 글은 아래 튜토리얼을 따라서 공부한 내용을 정리한 글입니다 :) > Pytorch Ignite Concepts https://pytorch.org/ignite/concepts.html Ignite Your Networks! — PyTorch-Ignite v0.4.6 Documentation High-level library to help with training and evaluating neural networks in PyTorch flexibly and transparently. pytorch.org > Convolutional Neural Networks for Classifying Fashion-MNIST Dataset using Ignite https://colab.research.goog.. 2021. 9. 3.
[NLP][파이토치] seq2seq - Decoder(디코더) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 불러오는 중입니다... [NLP][파이토치] seq2seq - Attention(어텐션) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&K.. hyen4110.tistory.c.. 2021. 8. 30.
[NLP][파이토치] seq2seq - Attention(어텐션) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 김기현의 자연어 처리 딥러닝 캠프: 파이토치 편 - 교보문고 딥러닝 기반의 자연어 처리 기초부터 심화까지 | 저자의 현장 경험과 인사이트를 녹여낸 본격적인 활용 가이드 이 책은 저자가 현장에서 실제로 시스템을 구축하며 얻은 경험과 그로부터 얻은 www.kyobobook.co.kr * 수식으로 확인하는 Attention > 지난 글 2021.05.12 - [자연어처리(NLP)] - [NLP] Attention Mec.. 2021. 8. 30.
[NLP][파이토치] seq2seq - Encoder(인코더) 김기현 강사님의 '자연어처리 딥러닝 캠프(파이토치편)' 책을 공부하면서 정리한 글입니다. http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9791162241974&orderClick=LAG&Kc= 김기현의 자연어 처리 딥러닝 캠프: 파이토치 편 - 교보문고 딥러닝 기반의 자연어 처리 기초부터 심화까지 | 저자의 현장 경험과 인사이트를 녹여낸 본격적인 활용 가이드 이 책은 저자가 현장에서 실제로 시스템을 구축하며 얻은 경험과 그로부터 얻은 www.kyobobook.co.kr *수식으로 확인하는 Encoder > 지난 글 : 2021.05.12 - [자연어처리(NLP)] - [NLP] Sequence to Se.. 2021. 8. 29.
[NLP] Transformer(트랜스포머)_② Deep dive 이전 글에서 Transformer(트랜스포머)가 왜 등장하였는지 그리고 어떤 특징을 가지고있는지 얕게 살펴보았습니다. 2021.05.17 - [자연어처리(NLP)] - [NLP] Transformer(트랜스포머)_1) Warm up [NLP] Transformer(트랜스포머)_1) Warm up 이 글은 아래 유튜브 영상 2개과 사이트 페이지의 내용을 정리한 글입니다. 저는 특정 딥러닝 모델이 등장한 배경, 당시 제기된 필요성에 대해서 알아가면서 배우는것을 좋아하는데요. 그런 블 hyen4110.tistory.com 이번 글에서는 Transformer(트랜스포머)의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같으며, 특히 유튜브채널 KoreaUniv DSB.. 2021. 5. 24.
[딥러닝] 오토인코더(Autoencoder) 이 글은 아래 사이트의 내용을 정리한 글입니다. https://www.jeremyjordan.me/autoencoders/ Introduction to autoencoders. Autoencoders are an unsupervised learning technique in which we leverage neural networks for the task of representation learning. Specifically, we'll design a neural network architecture such that we impose a bottleneck in the network which forces a compre www.jeremyjordan.me 1. AutoEncoder란? - Aut.. 2021. 5. 20.
[딥러닝][퀴즈] RNN(Recurrent Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. RNN(Recurrent Neural Network) 1. RNN과 기존 FNN의 차이점은? : 기존 FNN은 모든 입력값은 서로 독립적이라는 것을 기본 가정으로 하였지만, RNN은 이전의 결과에 의존한다는 가정을 바탕으로 네트워크 안에 루프를 만들어 과거의 정보를 반영하여 계산함으로써 정보가 지속되도록 하였다. 2. RNN의 식은? : h(t) = wx(t)+b+Uh(t-1) 3. RNN의 학습방법 : 시간축을 depth로 error signal을 전파하는 BPTT(Back-Propagation-Through-Time) 방식으로 학습 4. RNN에서 활성화함수로 tanh를 사용하는 이유는? : 시간축을 depth로 erro.. 2021. 5. 20.
[딥러닝][퀴즈] CNN(Convolutional Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. CNN(Convolutional Neural Network) 1. CNN과 기본 FNN의 차이점 3가지(장점) 1) 기본 FNN은 입력데이터가 3차원인 이미지 데이터를 처리하기 위해서는 많은 수의 파라미터가 필요하며 그 결과 오버피팅이 발생할 가능성이 높지만, CNN은 Weight Sharing(Parameter Sharing)을 통해 필요한 파라미터수가 감소하기 때문에 오버피팅을 방지할 수 있다. 2) 위치가 달라도 동일한 feature를 추출할 수 있다(translation invariant) 3) locally connected 되어있기 때문에 이미지의 공간 정보(위치 정보)를 유지하면서 인접 이미지와의 특징(local.. 2021. 5. 20.

티스토리툴바