AI51 [딥러닝][기초] 과적합(Overfitting)과 규제(Regularization) 1. 딥러닝 모델에서는 과적합(Overfitting)이 필요하다 - 딥러닝 모델은 일반적으로 최대한 오버피팅을 시킨 후 규제 등을 통해 오버피팅을 해결해나갑니다. 근데 왜 꼭 그렇게 해야만할까요? 처음부터 오버피팅이 안되도록 아키텍처를 설계하면 안될까요? - 딥러닝(deep learning)은 'representation learning'(또는 'feature learning')의 하위 분야입니다. 기존의 통계 모델에서는 이미 알려진 사실을 바탕으로 사람이 직접 feature를 추출하고 가공하는 feature engineering 과정이 필요했지만, 딥러닝 모델에서는 raw data에서 모델이 직접 feature를 만들어 냅니다. - 그렇기 때문에 처음부터 아키텍처를 simple 하게 설계한다면, hig.. 2021. 4. 25. [딥러닝][기초] Loss Curve, Accuracy Curve 딥러닝에서 Loss Curve, Accuracy Curve의 모양에 따라 어떤 조치를 취해주어야 하는지 보겠습니다. 1. Loss Curve Loss Curve 모양 무엇을 해야하나? 1 curve가 linear하다 learning rate를 더 높게 설정 2 curve의 감소폭이 적다 learning rate를 더 낮게 설정 3 curve의 진동(oscillation) 폭이 크다 batch size를 더 높게 설정 1.1 curve가 linear 할때 learning rate를 늘려준다. : curve가 linear하다는 것이 왜 문제일까? 일정한 폭으로 감소한다는 것이 문제일까? 생각할 수 있지만, 가장 좋은 curve 곡선은 'Loss Curve 2' 처럼 빠른 속도로 수렴하는 curve입니다 1... 2021. 4. 25. [딥러닝][기초] 역전파 알고리즘(Back Propagation) 3_단점 1) 수렴에 종종 실패, local minimum에 빠짐 2) Nonlocality, Synchrony(동시성), Long Training Time등 생물학적 신경망과 차이가있음 3) 초기값에 따라서 진동하거나 chaotic wandering 하기도 함 4) Gradient Vanishing, Gradient Explosion 문제 발생 2021. 4. 25. [딥러닝기초] 역전파 알고리즘(Back Propagation)_2 Delta Rule 일반화 2021.04.16 - [딥러닝(Deep learning)] - [딥러닝] 역전파 알고리즘(Back Propagation)1_ Delta Rule [딥러닝] 역전파 알고리즘(Back Propagation)1_ Delta Rule 이 글은 연세대학교 정보대학원 기본머신러닝 과목 수강하면서 공부한 내용을 바탕으로 작성한 글입니다. 역전파 알고리즘(Back Propagation) - 모델의 출력값(output)과 기대값(target)을 비교하여 차이 hyen4110.tistory.com - 앞의 글('01 역전파 알고리즘(Back Propagation) 기초_ Delta Rule')에서 Delta Rule에 근거한 가중치 업데이트 식을 살펴보았습니다. - 또한, Delta Rule의 기본 가정은 너무나 단순하.. 2021. 4. 25. [딥러닝기초] CNN(Convolutional Neural Networks) 아래 2개의 페이지를 정리한 글입니다. www.freecodecamp.org/news/an-intuitive-guide-to-convolutional-neural-networks-260c2de0a050/?gi=f79d86b111cb An intuitive guide to Convolutional Neural Networks by Daphne Cornelisse An intuitive guide to Convolutional Neural NetworksPhoto by Daniel Hjalmarsson on UnsplashIn this article, we will explore Convolutional Neural Networks (CNNs) and, on a high level, go through ho.. 2021. 4. 23. [딥러닝기초] 역전파 알고리즘(Back Propagation)1_ Delta Rule 이 글은 연세대학교 정보대학원 기본머신러닝 과목 수강하면서 공부한 내용을 바탕으로 작성한 글입니다. 역전파 알고리즘(Back Propagation) - 모델의 출력값(output)과 기대값(target)을 비교하여 차이(오차/error)를 줄여나가는 방향으로 가중치를 업데이트하는 방법 - 출력층(ouput layer)에서 입력층(input layer) 방향으로 오차(error)를 역으로 전파하면서 가중치를 업데이트 하기 때문에 역전파(Back Propagation) 알고리즘이라고 합니다. - 역전파 알고리즘에 대한 설명은 Delta Rule을 기본으로 시작하여 이를 일반화하여 확장한 역전파알고리즘을 설명하는 순으로 진행하겠습니다. 1. Delta Rule 1) Delta란? : 정답(target)과 출력.. 2021. 4. 16. 이전 1 2 3 4 다음
