[ML] Random forest regression

Ensemble learning

• 참조 
• Ensemble method: 여러개의 머신 러닝 알고리즘으로부터 예측을 결합하는 기술

 

Types of Ensemble Learning (model combining method)

1. Bosststrap Aggregation (Bagging)
   • Majority Voting / Bagging / Random forest

 

• Majority Voting(다수결)
  • 가장 단순한 모델 결합 방법으로 전혀 다른 모형도 결합할 수 있다. 다수결 방법은 Hard Voting과 Soft Voting 두 가지로 나뉘어진다.
  • Hard voting: 단순 투표, 개별 모형의 결과 기준
  • Soft voting: 가중치 투표, 개별 모형의 조건부 확률의 합 기준
  • Scikit-Learn의 ensemble 서브패키지는 다수결 방법을 위한 VotingClassifier 클래스를 제공한다.
    • estimators: 개별 모형 목록, 리스트나 named parameter 형식으로 입력
    • voting: 문자열{hard, soft} hard voting인지 soft voting인지 선택 ( 디폴트로는 hard)
    • weight: 사용자 가중치 리스트

 

[ML] Random Forest Regression

 

ML에서 모델 결합 - Bagging과 Boosting 개념설명