[ML] Ensemble

Ensemble의 목표는 "과적합 최소화"입니다. 여러개의 모델들에서 얻은 데이터로 내가 취사선택하여 사용한다면

아무래도 한개의 모델에서 나온 결과만을 적용할때보다는 유연성이 생길것입니다.

하지만, 당연하게도 여러모델을 한번에 돌리기에 연산량이 엄청납니다..

 

 

[코드로 이해하는 딥러닝 17] - Ensemble with CNN

 

 

 

 

boosting 기법 이해 (bagging vs boosting)

 

 

Ensemble method는 예측 성능의 향상을 위해 사용된다.

Ensemble의 기본적인 원칙은 기본 모델(some model)을 설정하고 그것의 linear combination을 하는 것이다.

d차원 input을 이용해 실수값을 예측하는 문제를 가정하자.

 

 

 

 

위와 같이 M 개의 모델들을 형성한 이후

 

개별 모델의 weighted sum 형태로 Ensemble 예측 모델을 만든다.

 

bagging과 boosting은 모델의 성능을 향상시키는 방법 중 하나라는 점에서는 공통점이 있지만 근본적으로는 매우 큰 차이를 갖고 있다.

• bagging : variance를 감소시키는 역할
• boosting : bias를 감소시키는 역할

 

 

 

Ensemble (Bagging vs Boosting) - 한 눈에 알아보기