[딥러닝][기초] Loss Curve, Accuracy Curve

딥러닝에서 Loss Curve, Accuracy Curve의 모양에 따라 어떤 조치를 취해주어야 하는지 보겠습니다.

1. Loss Curve

	Loss Curve 모양	무엇을 해야하나?
1	curve가 linear하다	learning rate를 더 높게 설정
2	curve의 감소폭이 적다	learning rate를 더 낮게 설정
3	curve의 진동(oscillation) 폭이 크다	batch size를 더 높게 설정

 

1.1 curve가 linear 할때 learning rate를 늘려준다.

: curve가 linear하다는 것이 왜 문제일까? 

 일정한 폭으로 감소한다는 것이 문제일까? 생각할 수 있지만,

 가장 좋은 curve 곡선은 'Loss Curve 2' 처럼 빠른 속도로 수렴하는 curve입니다 

 

1.2 curve의 감소폭이 작을 때 learning rate를 줄여준다.

 

1.3 curve의 진동폭이 클때 배치크기(batch size)를 늘려준다.

 

2. Accracy Curve

	Accuracy Curve 모양	무엇을 해야하나?
1	train과 validation curve의 차이(gap)이 크다	규제(regularizastion) 강도를 높인다
2	train과 validation curve의 차이(gap)이 작다	i) 규제(regularization) 강도를 낮춘다 ii) 모델의 depth 를 늘려준다

train과 validation의 accuracy curve 곡선의 차이가 크다는 것은 과적합(over fitting)이 발생했다는 것입니다.

따라서 과적합을 방지하기 하기위해 규제(regularization)를 추가해주어야합니다.

 

다음 글에서는 과적합과 규제에 대하여 알아보도록 하겠습니다.

2021.04.25 - [딥러닝(Deep learning)] - [딥러닝기초] 과적합(Overfitting)과 규제(Regularization)

[딥러닝기초] 과적합(Overfitting)과 규제(Regularization)