반응형
1. 모멘텀(Momentum) 이란?
: 가중치를 업데이트 할때 이전 가중치의 업데이트값의 일정 비율을 더하는것으로, 가중치가 local minimum에 빠지지 않고 학습하는 방향대로 가도록 하는 방법
- 모멘텀 상수는 0.5~ 0.9 사이의 값으로 정한다.
반응형
'AI > 딥러닝 기초(Deep learning)' 카테고리의 다른 글
| [딥러닝][NLP] LSTM(Long Short Term Memory Networks) (1) | 2021.05.07 |
|---|---|
| [딥러닝][NLP] RNN(Recurrent Neural Network) (0) | 2021.05.07 |
| [딥러닝][기초] 학습률(Learning rate)와 스케줄링 (0) | 2021.04.29 |
| [딥러닝][기초] 앙상블(Ensemble) (0) | 2021.04.29 |
| [딥러닝][기초] 데이터 정규화(Data nomalization) (0) | 2021.04.29 |
댓글