본문 바로가기
AI/딥러닝 기초(Deep learning)

[딥러닝][기초] Loss Curve, Accuracy Curve

by Hyen4110 2021. 4. 25.

딥러닝에서 Loss Curve, Accuracy Curve의 모양에 따라 어떤 조치를 취해주어야 하는지 보겠습니다.

1. Loss Curve

  Loss Curve 모양 무엇을 해야하나?
1 curve가 linear하다 learning rate를 더 높게 설정
2 curve의 감소폭이 적다 learning rate를 더 낮게 설정
3 curve의 진동(oscillation) 폭이 크다 batch size를 더 높게 설정

 

1.1 curve가 linear 할때 learning rate를 늘려준다.

: curve가 linear하다는 것이 왜 문제일까? 

 일정한 폭으로 감소한다는 것이 문제일까? 생각할 수 있지만,

 가장 좋은 curve 곡선은 'Loss Curve 2' 처럼 빠른 속도로 수렴하는 curve입니다 

 

1.2 curve의 감소폭이 작을 때 learning rate를 줄여준다.

 

1.3 curve의 진동폭이 클때 배치크기(batch size)를 늘려준다.

 

2. Accracy Curve

  Accuracy Curve 모양 무엇을 해야하나?
1 train과 validation curve의 차이(gap)이 크다 규제(regularizastion) 강도를 높인다
2 train과 validation curve의 차이(gap)이 작다 i) 규제(regularization) 강도를 낮춘다
ii) 모델의 depth 를 늘려준다

train과 validation의 accuracy curve 곡선의 차이가 크다는 것은 과적합(over fitting)이 발생했다는 것입니다.

따라서 과적합을 방지하기 하기위해 규제(regularization)를 추가해주어야합니다.

 

다음 글에서는 과적합과 규제에 대하여 알아보도록 하겠습니다.

2021.04.25 - [딥러닝(Deep learning)] - [딥러닝기초] 과적합(Overfitting)과 규제(Regularization)

 

[딥러닝기초] 과적합(Overfitting)과 규제(Regularization)

1. 딥러닝 모델에서는 과적합(Overfitting)이 필요하다 - 딥러닝 모델은 일반적으로 최대한 오버피팅을 시킨 후 규제 등을 통해 오버피팅을 해결해나갑니다. 근데 왜 꼭 그렇게 해야만할까요? 처음

hyen4110.tistory.com

 

댓글