본문 바로가기
반응형

분류 전체보기130

[통계] 선형회귀분석_결정계수와 F검정 이 글에서는 김성범 교수님의 강의자료를 일부 참고하였습니다. 공부를 하면서 찾아본 강의 중 가장 흐름이 이해가 잘되고 자료가 깔끔하여서 강력히 추천드립니다! :D https://www.youtube.com/watch?v=ClKeKeNz7RM 지난 선형회귀분석 설명에서 결정계수 R2에 대해서 간단히 살펴보았습니다. 2021.05.23 - [통계 분석(Statistics)] - [통계] 선형회귀분석(Linear Regression) [통계 기초] 선형회귀분석(Linear Regression) 2021.05.23 - [통계 분석(Statistics)] - [통계 기초] 상관관계(Correlation Coefficient) [통계 기초] 상관관계(Correlation Coefficient) 1. 상관관계(Cor.. 2021. 6. 13.
[통계] 선형회귀분석_회귀계수 추정과 T검정 지난 글에서는 선형회귀분석에 대해서 살펴보면서, 회귀식은 어떻게 추정하는지 그리고 그렇게 추정된 회귀모형이 얼마나 설명력이 있는지 결정계수 R2를 가지고 적합도를 판단할 수있음을 보았습니다. 2021.05.23 - [통계 분석(Statistics)] - [통계 기초] 선형회귀분석(Linear Regression) [통계 기초] 선형회귀분석(Linear Regression) 2021.05.23 - [통계 분석(Statistics)] - [통계 기초] 상관관계(Correlation Coefficient) [통계 기초] 상관관계(Correlation Coefficient) 1. 상관관계(Correlation Coefficient) 1.1 상관관계란? - [의미] 상관.. hyen4110.tistory.com .. 2021. 6. 13.
[NLP][논문리뷰] Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context https://arxiv.org/pdf/1901.02860.pdf 오늘 소개할 Transformer XL은 ACL 2019에 발표된 논문으로, 기존의 Transformer 모델이 가지고 있는 ‘고정된 길이의 문맥(fixed-length context)'이라는 한계점을 개선하되 시간적인 일관성(temporal coherence)을 파괴하지 않는 선에서 새로운 아키텍처를 제시한 논문입니다. 이 논문의 저자는 유명한 언어모델인 XLNET과 정확히 동일한 저자들이 작성하였는데요, XLNET은 당시 2019년 20개 NLP task에서 bert를 넘어섰고, 18개 task에서 SOTA를 달성했습니다. XLNET의 프리퀄로 알려진 transformer-XL을 살펴보겠습니다. 1. 등장 배경 1) 언어모델에서의 오래.. 2021. 6. 9.
[NLP][논문리뷰] XLNet: Generalized Autoregressive Pretrainingfor Language Understanding https://arxiv.org/pdf/1906.08237.pdf 최근 양방향 컨텍스트에 대한 모델링이 가능해짐과 함께, BERT와 같은 Denoising autoencoding 기반의 사전학습 방식은 Auto-regressive 언어 모델링 기반의 사전학습 방식보다 더 나은 성능을 달성하였습니다. 그러나 BERT의 경우 마스크로 입력값을 손상시켜 학습해야만 하는데, 이는 마스크 된 토큰들 간의 dependency를 반영하지 못하며, 또한 pretrain에 존재하는 [MASK] 심볼이 실제 데이터로 finetune할때는 존재하지 않는다는 문제도 존재합니다. 저자는 이러한 AR과 AE의 장단점을 고려한 Auto-regressive 사전훈련 방법인 XLNet을 제안하였습니다. (1) factorization.. 2021. 6. 9.
[NLP][기초개념] 사전 훈련(Pre-training) 언어 모델 아래 사이트의 글들을 참고하여 이해한 개념을 정리하였으며, wikidocs의 내용을 주로 참고하고, 언어모델과 관련된 개념들은 wikidocs의 글을 요약 정리한점을 미리 말씀드립니다. https://wikidocs.net/108730 https://www.analyticsvidhya.com/blog/2017/06/transfer-learning-the-art-of-fine-tuning-a-pre-trained-model/ http://jalammar.github.io/illustrated-bert/ 1. 사전훈련이란? - NLP 분야에서 많이 등장하는, '사전 훈련(Pre-trianing)' 개념에 대해서 이해하기 쉽게 설명해보고자 합니다. - 사전 훈련이라는 개념은 NLP분야에만 한정된 것이 아니라 .. 2021. 5. 29.
[NLP][논문리뷰] ALBERT: A lite BERT for self-supervised learning of language representations 이번 글에서는 구글과 도요타에서 작년 2020년 ICLR에 발표한 논문인 'ALBERT: A lite BERT for self-supervised learning of language representations'에 대해서 리뷰하도록 하겠습니다. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases becom.. 2021. 5. 29.
[NLP] BERT(버트) 이번 글에서는 BERT의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같습니다. 1) KoreaUniv DSBA 08-5: BERT https://www.youtube.com/watch?v=IwtexRHoWG0 2) http://jalammar.github.io/illustrated-bert/ 1. BERT(Bidirectional Encoder Representations from Transformers)란? 1.1 등장 배경 - 트랜스포머의 등장으로 인한 기계번역 분야에서의 성과로 인해서, 트랜스포머는 다른 분야에서도 LSTM을 대체할 수 있는 후보로 대두되었습니다. - 그러나 트랜스포머의 인코더-디코더 구조는 기계번역 task에는 아주 완벽하지만, 만약.. 2021. 5. 26.
[NLP] Transformer(트랜스포머)_② Deep dive 이전 글에서 Transformer(트랜스포머)가 왜 등장하였는지 그리고 어떤 특징을 가지고있는지 얕게 살펴보았습니다. 2021.05.17 - [자연어처리(NLP)] - [NLP] Transformer(트랜스포머)_1) Warm up [NLP] Transformer(트랜스포머)_1) Warm up 이 글은 아래 유튜브 영상 2개과 사이트 페이지의 내용을 정리한 글입니다. 저는 특정 딥러닝 모델이 등장한 배경, 당시 제기된 필요성에 대해서 알아가면서 배우는것을 좋아하는데요. 그런 블 hyen4110.tistory.com 이번 글에서는 Transformer(트랜스포머)의 원리에 대해서 깊게 살펴보고자 합니다. 이번 글을 작성하기위해서 참고한 글 리스트는 아래와 같으며, 특히 유튜브채널 KoreaUniv DSB.. 2021. 5. 24.
[통계] 선형회귀분석(Linear Regression) 2021.05.23 - [통계 분석(Statistics)] - [통계 기초] 상관관계(Correlation Coefficient) [통계 기초] 상관관계(Correlation Coefficient) 1. 상관관계(Correlation Coefficient) 1.1 상관관계란? - [의미] 상관관계는 두 변수 간의 직선관계를 나타냅니다. 상관관계가 있다는 것은 인과관계가 있다는것이 아닙니다. 상관관계가 높다고해서 두 hyen4110.tistory.com 이전 글에서는 상관관계 분석에 대해서 알아보았습니다. 상관관계는 두 변수간의 상관관계는 알 수 있었지만 두 변수가 서로 간에 영향을 주는지에 대해 확인할 수 없었습니다. 하지만 회귀분석에서는 변수가 서로 영향을 주는지, 즉 인과관계를 확인할 수 있는 분석방.. 2021. 5. 23.
[통계] 상관관계(Correlation Coefficient) 1. 상관관계(Correlation Coefficient) 1.1 상관관계란? - [의미] 상관관계는 두 변수 간의 직선관계를 나타냅니다. 상관관계가 있다는 것은 인과관계가 있다는것이 아닙니다. 상관관계가 높다고해서 두 변수에서 하나의 변수가 다른 변수의 원인을 설명할수는 없습니다. 이유는 알 수 없지만, 상관관계가 높을 뿐이죠. - [부호] 상관관계 값이 0에 가까울수록 직선관계가 없으며, -1에 가까울수록 강한 음의관계, +1에 가까울수록 강한 양의 관계를 가집니다. - [지표] 상관관계를 나타내는 지표를 상관계수라고 합니다. 대표적인 상관계수로는 피어슨 상관계수, 스피어만 상관계수가 있습니다. - 상관관계를 분석하는데 있어서 가장 기본적이고 직관적인 방법은 산점도를 살펴보는 것입니다. 산점도에서 분.. 2021. 5. 23.
[딥러닝] 오토인코더(Autoencoder) 이 글은 아래 사이트의 내용을 정리한 글입니다. https://www.jeremyjordan.me/autoencoders/ Introduction to autoencoders. Autoencoders are an unsupervised learning technique in which we leverage neural networks for the task of representation learning. Specifically, we'll design a neural network architecture such that we impose a bottleneck in the network which forces a compre www.jeremyjordan.me 1. AutoEncoder란? - Aut.. 2021. 5. 20.
[딥러닝][퀴즈] RNN(Recurrent Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. RNN(Recurrent Neural Network) 1. RNN과 기존 FNN의 차이점은? : 기존 FNN은 모든 입력값은 서로 독립적이라는 것을 기본 가정으로 하였지만, RNN은 이전의 결과에 의존한다는 가정을 바탕으로 네트워크 안에 루프를 만들어 과거의 정보를 반영하여 계산함으로써 정보가 지속되도록 하였다. 2. RNN의 식은? : h(t) = wx(t)+b+Uh(t-1) 3. RNN의 학습방법 : 시간축을 depth로 error signal을 전파하는 BPTT(Back-Propagation-Through-Time) 방식으로 학습 4. RNN에서 활성화함수로 tanh를 사용하는 이유는? : 시간축을 depth로 erro.. 2021. 5. 20.
[딥러닝][퀴즈] CNN(Convolutional Neural Network) 개인적으로 딥러닝 수강과목 퀴즈 준비를 위해 예상문제와 답안을 정리한 것입니다. CNN(Convolutional Neural Network) 1. CNN과 기본 FNN의 차이점 3가지(장점) 1) 기본 FNN은 입력데이터가 3차원인 이미지 데이터를 처리하기 위해서는 많은 수의 파라미터가 필요하며 그 결과 오버피팅이 발생할 가능성이 높지만, CNN은 Weight Sharing(Parameter Sharing)을 통해 필요한 파라미터수가 감소하기 때문에 오버피팅을 방지할 수 있다. 2) 위치가 달라도 동일한 feature를 추출할 수 있다(translation invariant) 3) locally connected 되어있기 때문에 이미지의 공간 정보(위치 정보)를 유지하면서 인접 이미지와의 특징(local.. 2021. 5. 20.
[NLP] Transformer(트랜스포머)_1) Warm up 이 글은 아래 유튜브 영상 2개과 사이트 페이지의 내용을 정리한 글입니다. 저는 특정 딥러닝 모델이 등장한 배경, 당시 제기된 필요성에 대해서 알아가면서 배우는것을 좋아하는데요. 그런 블로그와 유튜브를 찾다 발견한 유튜브가 있어서 기존에 포스팅한 내용을 제외하고 흐름을 따라가는것을 우선으로하여 정리해보았습니다! :) https://www.youtube.com/watch?v=TQQlZhbC5ps https://www.youtube.com/watch?v=S27pHKBEp30 1. Transformer의 등장 배경 1.1 Bag of words '[시퀀스 모델링의 문제점] 제한된 크기의 벡터로 만들어야함 -> [해결] Bag of Words' - NLP 분야의 task중 하나인 '문서로 스팸 여부 예측'하는 .. 2021. 5. 17.
[NLP] Bahdanau Attention(바다나우 어텐션) 이 글은 아래 사이트 페이지를 정리한 글입니다. https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a https://medium.com/analytics-vidhya/neural-machine-translation-using-bahdanau-attention-mechanism-d496c9be30c3 Neural Machine Translation using Bahdanau Attention Mechanism Table of Contents medium.com 1. Bahdanau Attention(바다나우 어텐션)이란? - 앞의 블로그에서 우리는 Attention이 무엇인지에 대해서 알아보았.. 2021. 5. 16.
반응형

티스토리툴바