분류 전체보기124 [NLP] BERT(버트) 이번 글에서는 BERT의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같습니다. 1) KoreaUniv DSBA 08-5: BERT https://www.youtube.com/watch?v=IwtexRHoWG0 2) http://jalammar.github.io/illustrated-bert/ 1. BERT(Bidirectional Encoder Representations from Transformers)란? 1.1 등장 배경 - 트랜스포머의 등장으로 인한 기계번역 분야에서의 성과로 인해서, 트랜스포머는 다른 분야에서도 LSTM을 대체할 수 있는 후보로 대두되었습니다. - 그러나 트랜스포머의 인코더-디코더 구조는 기계번역 task에는 아주 완벽하지만, 만약.. 2021. 5. 26. [NLP] Transformer(트랜스포머)_② Deep dive 이전 글에서 Transformer(트랜스포머)가 왜 등장하였는지 그리고 어떤 특징을 가지고있는지 얕게 살펴보았습니다. 2021.05.17 - [자연어처리(NLP)] - [NLP] Transformer(트랜스포머)_1) Warm up [NLP] Transformer(트랜스포머)_1) Warm up 이 글은 아래 유튜브 영상 2개과 사이트 페이지의 내용을 정리한 글입니다. 저는 특정 딥러닝 모델이 등장한 배경, 당시 제기된 필요성에 대해서 알아가면서 배우는것을 좋아하는데요. 그런 블 hyen4110.tistory.com 이번 글에서는 Transformer(트랜스포머)의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같으며, 특히 유튜브채널 KoreaUniv DSB.. 2021. 5. 24. [통계] 선형회귀분석(Linear Regression) 2021.05.23 - [통계 분석(Statistics)] - [통계 기초] 상관관계(Correlation Coefficient) [통계 기초] 상관관계(Correlation Coefficient) 1. 상관관계(Correlation Coefficient) 1.1 상관관계란? - [의미] 상관관계는 두 변수 간의 직선관계를 나타냅니다. 상관관계가 있다는 것은 인과관계가 있다는것이 아닙니다. 상관관계가 높다고해서 두 hyen4110.tistory.com 이전 글에서는 상관관계 분석에 대해서 알아보았습니다. 상관관계는 두 변수간의 상관관계는 알 수 있었지만 두 변수가 서로 간에 영향을 주는지에 대해 확인할 수 없었습니다. 하지만 회귀분석에서는 변수가 서로 영향을 주는지, 즉 인과관계를 확인할 수 있는 분석방.. 2021. 5. 23. [통계] 상관관계(Correlation Coefficient) 1. 상관관계(Correlation Coefficient) 1.1 상관관계란? - [의미] 상관관계는 두 변수 간의 직선관계를 나타냅니다. 상관관계가 있다는 것은 인과관계가 있다는것이 아닙니다. 상관관계가 높다고해서 두 변수에서 하나의 변수가 다른 변수의 원인을 설명할수는 없습니다. 이유는 알 수 없지만, 상관관계가 높을 뿐이죠. - [부호] 상관관계 값이 0에 가까울수록 직선관계가 없으며, -1에 가까울수록 강한 음의관계, +1에 가까울수록 강한 양의 관계를 가집니다. - [지표] 상관관계를 나타내는 지표를 상관계수라고 합니다. 대표적인 상관계수로는 피어슨 상관계수, 스피어만 상관계수가 있습니다. - 상관관계를 분석하는데 있어서 가장 기본적이고 직관적인 방법은 산점도를 살펴보는 것입니다. 산점도에서 분.. 2021. 5. 23. [딥러닝] 오토인코더(Autoencoder) 이 글은 아래 사이트의 내용을 정리한 글입니다. https://www.jeremyjordan.me/autoencoders/ Introduction to autoencoders. Autoencoders are an unsupervised learning technique in which we leverage neural networks for the task of representation learning. Specifically, we'll design a neural network architecture such that we impose a bottleneck in the network which forces a compre www.jeremyjordan.me 1. AutoEncoder란? - Aut.. 2021. 5. 20. [딥러닝][퀴즈] RNN(Recurrent Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. RNN(Recurrent Neural Network) 1. RNN과 기존 FNN의 차이점은? : 기존 FNN은 모든 입력값은 서로 독립적이라는 것을 기본 가정으로 하였지만, RNN은 이전의 결과에 의존한다는 가정을 바탕으로 네트워크 안에 루프를 만들어 과거의 정보를 반영하여 계산함으로써 정보가 지속되도록 하였다. 2. RNN의 식은? : h(t) = wx(t)+b+Uh(t-1) 3. RNN의 학습방법 : 시간축을 depth로 error signal을 전파하는 BPTT(Back-Propagation-Through-Time) 방식으로 학습 4. RNN에서 활성화함수로 tanh를 사용하는 이유는? : 시간축을 depth로 erro.. 2021. 5. 20. [딥러닝][퀴즈] CNN(Convolutional Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. CNN(Convolutional Neural Network) 1. CNN과 기본 FNN의 차이점 3가지(장점) 1) 기본 FNN은 입력데이터가 3차원인 이미지 데이터를 처리하기 위해서는 많은 수의 파라미터가 필요하며 그 결과 오버피팅이 발생할 가능성이 높지만, CNN은 Weight Sharing(Parameter Sharing)을 통해 필요한 파라미터수가 감소하기 때문에 오버피팅을 방지할 수 있다. 2) 위치가 달라도 동일한 feature를 추출할 수 있다(translation invariant) 3) locally connected 되어있기 때문에 이미지의 공간 정보(위치 정보)를 유지하면서 인접 이미지와의 특징(local.. 2021. 5. 20. [NLP] Transformer(트랜스포머)_1) Warm up 이 글은 아래 유튜브 영상 2개과 사이트 페이지의 내용을 정리한 글입니다. 저는 특정 딥러닝 모델이 등장한 배경, 당시 제기된 필요성에 대해서 알아가면서 배우는것을 좋아하는데요. 그런 블로그와 유튜브를 찾다 발견한 유튜브가 있어서 기존에 포스팅한 내용을 제외하고 흐름을 따라가는것을 우선으로하여 정리해보았습니다! :) https://www.youtube.com/watch?v=TQQlZhbC5ps https://www.youtube.com/watch?v=S27pHKBEp30 1. Transformer의 등장 배경 1.1 Bag of words '[시퀀스 모델링의 문제점] 제한된 크기의 벡터로 만들어야함 -> [해결] Bag of Words' - NLP 분야의 task중 하나인 '문서로 스팸 여부 예측'하는 .. 2021. 5. 17. [NLP] Bahdanau Attention(바다나우 어텐션) 이 글은 아래 사이트 페이지를 정리한 글입니다. https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a https://medium.com/analytics-vidhya/neural-machine-translation-using-bahdanau-attention-mechanism-d496c9be30c3 Neural Machine Translation using Bahdanau Attention Mechanism Table of Contents medium.com 1. Bahdanau Attention(바다나우 어텐션)이란? - 앞의 블로그에서 우리는 Attention이 무엇인지에 대해서 알아보았.. 2021. 5. 16. [NLP] Attention Mechanism(어텐션) 이 글은 아래 사이트의 글과 udemy의 'deep learning advanced nlp(Lazy Programmer)의 강의를 정리한 내용입니다. https://www.udemy.com/course/deep-learning-advanced-nlp/ towardsdatascience.com/attn-illustrated-attention-5ec4ad276ee3 Attn: Illustrated Attention Attention in GIFs and how it is used in machine translation like Google Translate towardsdatascience.com 1. Attention 등장 배경 - 수십년간 통계적 기계번역(Statistical Machine Transl.. 2021. 5. 12. [NLP] Sequence to Seqence(Seq2Seq) 이 글은 아래 유뷰트 강의, 사이트 내용, udemy 강의 'Deep Learning: Advanced NLP and RNNs' 을 정리한 글입니다. www.youtube.com/watch?v=bBBYPuVUnug d2l.ai/chapter_recurrent-modern/seq2seq.html www.udemy.com/course/deep-learning-advanced-nlp/ Deep Learning: Advanced NLP and RNNs Natural Language Processing with Sequence-to-sequence (seq2seq), Attention, CNNs, RNNs, and Memory Networks! www.udemy.com (이후 수식 파트는 김기현 강사님의 딥러닝을.. 2021. 5. 12. [딥러닝][NLP] Bidirectional RNN 이 글은 아래 사이트의 페이지를 정리한 글입니다. d2l.ai/chapter_recurrent-modern/bi-rnn.html#definition 9.4. Bidirectional Recurrent Neural Networks — Dive into Deep Learning 0.16.3 documentation d2l.ai 1. Bidirectional RNN의 등장배경 - 지금까지의 시퀀스 데이터의 학습에서의 목표는 '지금까지 주어진 것을 보고 다음을 예측'하는 것이었고, 그 분야로는 시계열 또는 언어 모델이 있었습니다. 하지만, 시퀀스의 과거의 값들 뿐만 아니라 이후의 값들에 의해서도 값이 결정된다면 어떨까요? 아래 세 문장으로 예를 하나 들어보겠습니다. i) I am _____. ii) I am _.. 2021. 5. 12. [딥러닝] GRU(Gated Recurrent Unit) 이 글은 아래 사이트를 정리하여 작성한 글입니다. pdfs.semanticscholar.org/25f0/625a92f6054b11057423111f9285c78376fe.pdf d2l.ai/chapter_recurrent-modern/gru.html 9.1. Gated Recurrent Units (GRU) — Dive into Deep Learning 0.16.3 documentation d2l.ai GRU 이미지는 아래 블로그를 일부 참고하였습니다. excelsior-cjh.tistory.com/185 1. GRU의 등장 배경 - LSTM은 RNN의 치명적인 한계점이었던, 'Long-term dependency' 문제를 해결하면서 긴 시퀀스를 가진 데이터에서도 좋은 성능을 내는 모델이 되었지만, 복잡.. 2021. 5. 10. [딥러닝][NLP] LSTM(Long Short Term Memory Networks) 이 글은 아래 사이트의 내용을 정리한 글입니다. colah.github.io/posts/2015-08-Understanding-LSTMs/ 2021. 5. 7. [딥러닝][NLP] RNN(Recurrent Neural Network) 이번 글은 아래 3개의 사이트의 내용을 읽고 정리한 글입니다. www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ wikidocs.net/22886 colah.github.io/posts/2015-08-Understanding-LSTMs/ 2021. 5. 7. 이전 1 ··· 4 5 6 7 8 9 다음