[딥러닝][기초] 모멘텀(Momentum)

1. 모멘텀(Momentum) 이란? 

: 가중치를 업데이트 할때 이전 가중치의 업데이트값의 일정 비율을 더하는것으로, 가중치가 local minimum에 빠지지 않고 학습하는 방향대로 가도록 하는 방법

- 모멘텀 상수는 0.5~ 0.9 사이의 값으로 정한다.