딥러닝의 현실적인 이슈들
1. 데이터 확장(Data Augmentation)
2. 데이터 정규화(Data normalization)/배치 정규화(Batch Normalization)
2021.04.29 - [딥러닝(Deep learning)] - [딥러닝] 데이터 정규화(Data nomalization)
[딥러닝] 데이터 정규화(Data nomalization)
1. 데이터 정규화 1.1 표준 정규화 : 기본적인 전처리로 각 샘플을 평균이 0 분산이 1이되도록 변환한다. 1.2 Min-max normalization
hyen4110.tistory.com
3. 아키텍처 최적화(Architecture optimization)
4. 손실함수(Loss function)
2021.04.29 - [딥러닝(Deep learning)] - [딥러닝] 손실함수(Loss function)
[딥러닝] 손실함수(Loss function)
1. 손실함수(Loss function)이란? : 신경망의 출력값(output)과 정답(target) 사이의 거리로, Error function 이라고도 한다. 2. 문제 유형에 따른 손실함수 종류 Task Loss function Activation function of outp..
hyen4110.tistory.com
5. 가중치 초기화(Weight initialization)
6. 학습률 스케줄링(Learning rate and its schedule)
2021.04.29 - [딥러닝(Deep learning)] - [딥러닝] 학습률(Learning rate)와 스케줄링
[딥러닝] 학습률(Learning rate)와 스케줄링
1. 학습률(Learning rate)이란? : 경사하강법에서 파라미터를 업데이트하는 정도를 조절하기위한 변수이다. 2. 학습률 스케줄링 방법 1) 학습값을 크게 설정했다가, 학습의 진행과 함께 줄여나가기
hyen4110.tistory.com
7. 과적합: 정규화, 조기종료(Overfitting: Regularization, Early stopiing)
- 2021.04.25 - [딥러닝(Deep learning)] - [딥러닝] 과적합(Overfitting)과 규제(Regularization)
[딥러닝] 과적합(Overfitting)과 규제(Regularization)
1. 딥러닝 모델에서는 과적합(Overfitting)이 필요하다 - 딥러닝 모델은 일반적으로 최대한 오버피팅을 시킨 후 규제 등을 통해 오버피팅을 해결해나갑니다. 근데 왜 꼭 그렇게 해야만할까요? 처음
hyen4110.tistory.com
8. 앙상블(Ensemble)
2021.04.29 - [딥러닝(Deep learning)] - [딥러닝] 앙상블(Ensemble)
[딥러닝] 앙상블(Ensemble)
1. 앙상블(Ensemble) 이란? - 여러개의 서로 다른 신경망을 조합하여 추정의 정확도를 향상시키는 방법. - 같은 입력값에 대한 출력값의 평균을 최종 출력값으로 삼으며, 앙상블을 다른 표현으로 모
hyen4110.tistory.com
9. 모멘텀(Momentum)
2021.04.29 - [딥러닝(Deep learning)] - [딥러닝기초] 모멘텀(Momentum)
[딥러닝기초] 모멘텀(Momentum)
1. 모멘텀(Momentum) 이란? : 가중치를 업데이트 할때 이전 가중치의 업데이트값의 일정 비율을 더하는것으로, 가중치가 local minimum에 빠지지 않고 학습하는 방향대로 가도록 하는 방법 - 모멘텀 상
hyen4110.tistory.com
'AI > 딥러닝 기초(Deep learning)' 카테고리의 다른 글
| [딥러닝][기초] 데이터 정규화(Data nomalization) (0) | 2021.04.29 |
|---|---|
| [딥러닝][기초] 손실함수(Loss function) (0) | 2021.04.29 |
| [딥러닝][기초] 활성화 함수(Activation Function) (0) | 2021.04.25 |
| [딥러닝][기초] 과적합(Overfitting)과 규제(Regularization) (0) | 2021.04.25 |
| [딥러닝][기초] Loss Curve, Accuracy Curve (2) | 2021.04.25 |
댓글