본문 바로가기
Learning-driven Methodology/ML (Machine Learning)

[LightGBM] 매개변수 조정 (Parameters Tuning) (3)

by goatlab 2023. 7. 3.
728x90
반응형
SMALL

For Better Accuracy

 

  • 큰 max_bin 사용 (더 느릴 수 있음)
  • num_iterations가 많은 작은 learning_rate 사용
  • 큰 num_leaves 사용 (과적합의 원인이 될 수 있음)
  • 더 큰 교육 데이터 사용
  • dart를 시도

 

Deal with Over-fitting

 

  • 작은 max_bin 사용
  • 작은 num_leaves 사용
  • min_data_in_leaf 및 min_sum_hessian_in_leaf 사용
  • bagging_fract 및 bagging_freq를 설정하여 bagging 사용
  • feature_fraction을 설정하여 피쳐 하위 샘플링 사용
  • 더 큰 학습 데이터 사용
  • 정규화를 위해 lambda_l1, lambda_l2 및 min_gain_to_split을 사용
  • 깊은 트리가 자라지 않도록 max_depth를 시도
  • extra_tree를 사용
  • path_smooth 증가 시도

 

https://lightgbm.readthedocs.io/en/latest/Parameters-Tuning.html#deal-with-over-fitting

 

Parameters Tuning — LightGBM 3.3.5.99 documentation

num_leaves. This is the main parameter to control the complexity of the tree model. Theoretically, we can set num_leaves = 2^(max_depth) to obtain the same number of leaves as depth-wise tree. However, this simple conversion is not good in practice. The re

lightgbm.readthedocs.io

 

728x90
반응형
LIST
저작자표시 비영리 변경금지

'Learning-driven Methodology > ML (Machine Learning)' 카테고리의 다른 글

[Machine Learning] 그리드 탐색 (GridSearchCV)  (0) 2023.07.10
[Machine Learning] Histogram-Based Gradient Boosting Ensembles  (0) 2023.07.07
[Machine Learning] K겹 교차 검증 (K-fold cross validation)  (0) 2023.04.27
[Machine Learning] 사용자기반 협업 필터링 (User-based Filtering)  (0) 2022.12.07
[Machine Learning] 추천 시스템 (Recommender System)  (0) 2022.12.07

관련글

티스토리툴바