Learning-driven Methodology/ML (Machine Learning)

[LightGBM] 매개변수 조정 (Parameters Tuning) (3)

goatlab 2023. 7. 3. 11:30
728x90
반응형
SMALL

For Better Accuracy

 

  • 큰 max_bin 사용 (더 느릴 수 있음)
  • num_iterations가 많은 작은 learning_rate 사용
  • 큰 num_leaves 사용 (과적합의 원인이 될 수 있음)
  • 더 큰 교육 데이터 사용
  • dart를 시도

 

Deal with Over-fitting

 

  • 작은 max_bin 사용
  • 작은 num_leaves 사용
  • min_data_in_leaf 및 min_sum_hessian_in_leaf 사용
  • bagging_fract 및 bagging_freq를 설정하여 bagging 사용
  • feature_fraction을 설정하여 피쳐 하위 샘플링 사용
  • 더 큰 학습 데이터 사용
  • 정규화를 위해 lambda_l1, lambda_l2 및 min_gain_to_split을 사용
  • 깊은 트리가 자라지 않도록 max_depth를 시도
  • extra_tree를 사용
  • path_smooth 증가 시도

 

https://lightgbm.readthedocs.io/en/latest/Parameters-Tuning.html#deal-with-over-fitting

 

Parameters Tuning — LightGBM 3.3.5.99 documentation

num_leaves. This is the main parameter to control the complexity of the tree model. Theoretically, we can set num_leaves = 2^(max_depth) to obtain the same number of leaves as depth-wise tree. However, this simple conversion is not good in practice. The re

lightgbm.readthedocs.io

 

728x90
반응형
LIST
저작자표시 비영리 변경금지 (새창열림)