[딥러닝][기초] 앙상블(Ensemble)

1. 앙상블(Ensemble) 이란?

- 여러개의 서로 다른 신경망을 조합하여 추정의 정확도를 향상시키는 방법.

- 같은 입력값에 대한 출력값의 평균을 최종 출력값으로 삼으며, 앙상블을 다른 표현으로 모델 평균(model averaging)이라고 도한다. 

 

- test의 결과를 보고 앙상블의 조합을 구상하지 않는다.

 : test를 배제한 채 test 와 validation set의 정확도만을 참고한다.

 

2. 앙상블의 종류

2.1 Soft Voting

 : 모든 모델의 출력값을 단순히 평균 낸것

 : [장점] 많은 경우에 있어서 성능을 향상시키는 것으로 알려져있다.

 : [단점] 연산량이 많으며 학습 시간이 더 많이 필요하다. 

 : 규제의 한 종류인 드롭아웃은 한 신경망을 사용하여 여러개의 신경망의 모델평균을 적용한 것과 같은 효과가 있다고 여겨진다. 

 

3. 앙상블에 적합한 모델 선정

 - 점수가 좋은 모델 상위 top3건으로 구성하지는 않는다.

 - 모델 간 상관성(correlation)이 적은 앙상블을 골라서 구성하기도 한다.