[Machine Learning] ExtraTree

ExtraTree

 

https://www.researchgate.net/figure/The-structure-of-ExtraTree_fig1_346995264

 

ExtraTrees는 기본적으로 의사결정나무를 기반으로 한 앙상블 학습 방법이다. RandomForest와 같은 ExtraTrees는 특정 결정과 데이터 하위 집합을 무작위로 지정하여 데이터의 과잉 학습과 과적합을 최소화한다.

 

트리 모델 비교

 

모델	분산 (Variance)	특징
Decision Tree	높음	단일 의사결정 트리는 일반적으로 하나의 의사결정 경로에서만 학습하기 때문에 학습 중인 데이터에 과적합된다. 단일 의사결정 트리를 통한 예측은 일반적으로 새 데이터에 대해 정확한 예측을 제공하지 않는다.
Random Forest	중간	랜덤 포레스트 모델은 다음을 통해 무작위성을 도입하여 과적합 위험을 줄인다. 여러 트리 구축 (n_estimators) 교체를 통한 관찰 그리기(즉, 부트스트랩된 샘플) 모든 노드에서 선택된 기능의 무작위 하위 집합 중에서 가장 좋은 분할로 노드를 분할한다.
Extra Tree	낮으	Extra Trees는 기능의 무작위 하위 집합을 사용하여 여러 개의 트리를 구축하고 노드를 분할한다는 점에서 Random Forest와 비슷하지만 두 가지 중요한 차이점이 있다. 관측치를 부트스트랩하지 않고 (교체하지 않고 샘플링한다는 의미), 노드는 최상의 분할이 아닌 임의의 분할로 분할된다 . 기본적으로 bootstrap = False 로 여러 트리를 구축한다 . 즉, 교체 없이 샘플링함을 의미한다. 노드는 모든 노드에서 선택된 기능의 무작위 하위 집합 간의 무작위 분할을 기반으로 분할된다.

 

 

 

https://medium.com/@namanbhandari/extratreesclassifier-8e7fc0502c7

ExtraTreesClassifier