728x90 반응형 SMALL pruning2 [Image Classification] MobileNet V1 MobileNet V1 모바일, embedded vision 앱에서 사용되는 것을 목적으로 한 MobileNet이라는 효율적인 모델을 제시한다. Depth-wise separable convolutions라는 구조에 기반하며 2개의 단순한 hyper parameter를 가진다. 이 2가지는 사용되는 환경에 따라 적절히 선택하여 적당한 크기의 모델을 선택할 수 있게 한다. 수많은 실험을 통해 가장 좋은 성능을 보이는 설정을 찾았으며 타 모델에 비해 성능이 거의 떨어지지 않으면서 모델 크기는 몇 배까지 줄였다. 모델 크기를 줄이는 방법은 크게 2가지로 나뉘는데, 사전 학습된 네트워크를 압축하거나 작은 네트워크를 직접 학습하는 방식이다. 이외에도 모델을 잘 압축하거나 양자화, hashing, pruning 등.. 2022. 9. 14. [XGBoost] 트리 부스팅 (Tree Boosting) (2) 구조 점수 (Structure Score) 트리 모델을 다시 공식화한 후 다음을 사용하여 목적 값을 작성할 수 있다. Ij={i|q(xi)=j}에 할당된 데이터 포인트의 인덱스 집합이다. 두 번째 줄에서 동일한 잎의 모든 데이터 포인트가 동일한 점수를 받기 때문에 합계의 인덱스를 변경했다. 다음을 정의하여 표현식을 더 압축할 수 있다. 이 방정식에서 wj 형태는 서로 독립이다. 주어진 구조 q(x)에 대해 얻을 수 있는 최고 wj의 객관적 감소는 다음과 같다. 마지막 방정식은 트리 구조가 얼마나 좋은지를 측정한다. 그것은 q(x)이다. 그림을 보고 점수를 계산하는 방법을 살펴본다. 기본적으로 주어진 트리 구조에 대해 통계 gi 그리고 hi를 푸시한다. 그들이 속한 잎에 통계를 합산하고 공식을 사용하여 나.. 2022. 5. 6. 이전 1 다음 728x90 반응형 LIST
