[Bayesian Inference] 모델 선택 (Model Selection)

모델 선택 (Model Selection)

 

때때로 하나 이상의 모델을 가질 수 있으며 우리의 관심은 각 모델의 적합성을 평가하고 모델 선택을 수행하는 데 집중할 수 있다. 베이지안 모델 선택 절차를 설명하기 위해 "null" 모델 M = 0과 대안 모델 M = 1 간의 비교에 중점을 둔다. 이 경우 해당 조인트 pdf는 다음과 같다.

 

 

y가 매개변수를 통해 모델에 의존한다고 가정하면 다음과 같다.

 

 

여기서 π(θm | M = m, I)는 모델 M = m에서 매개변수 θm에 대한 선험적 분포이고 π(M = m | I)는 모델 M = m의 선험적 확률이다. 모델 M = m에 대한 사후 확률은 증거에 비례한다.

 

 

최적의 모델은

 

 

선험적 분포 π(M = m | I)의 선택은 분명히 응용 프로그램에 따라 다르다. 두 모델의 가능성이 동일하고 동일한 수의 매개변수를 포함하는 경우 π(M = 0 | I) = 1 / 2 = π(M = 1 | I)이다. 다른 모델을 비교할 때 종종 Laplace 근사로 알려진 사후 pdf p(y | θ, M = m, I)에 대한 간단한 근사를 사용한다.

 

Laplace Approximation

 

라플라스 근사는 사후 분포 p(θ | y, M = m, I)가 가우스 함수로 근사하는 모드가 하나만 있다고 가정한다. 다음과 같이 진행한다.

 

 

그런 다음 p(θ | y, M = m, I)를 최대화하는 θ 값 주위에서 최대값인 사후 (MAP) 값인 θ에 대해 t(θ)를 확장한다.

 

 

여기서 H(θˆ)는 사후 분포의 자연 로그의 헤세 행렬이며 θˆ에서 평가된 t(θ)의 2차 도함수 행렬로 정의된다.

 

 

여기서 d는 매개변수 공간 θ의 차원이다. p(y | M = m, I)에 대한 해당 근사식은 다음과 같다.

 

 

표에 나열된 모델 선택 방법 외에도 많은 수의 비 베이지안 모델 선택 방법을 사용할 수 있다. 이러한 방법 중 더 많이 사용되는 방법이 있다. Bouchard와 Celeux는 주어진 객체 O의 분류를 포함하는 적용에 대해 베이지안 모델 선택 근사값의 사용에 의문을 제기했다. 그들은 다음과 같이 정의되는 베이지안 엔트로피 기준으로 알려진 새로운 기준을 제안한다. 각 측정값 yi에 연관된 레이블 zi가 있다고 가정한다.

 

 

여기서 θ = argmaxθ lnp(y | θ, M = m, I).

 

Bayesian Model Averaging

 

모델 선택의 대안은 베이지안 모델 평균화 (BMA)이다. BMA에서는 단일 "최적" 모델을 선택하지 않는다. 대신 여러 모델의 사후 분포를 평균화하여 최적의 모델을 선택하는 것과 관련된 불확실성을 고려한다. BMA 프레임워크에서 사후 pdf p(θ | y, I)는 다음 공식으로 제공된다.

 

 

여기서 π(M = m | I)는 모델 M = m의 선험적 확률이다. 일반적으로 BMA는 합리적으로 선택할 수 있었던 단일 모델보다 성능이 더 우수하다. 실제로 합을 소수의 모델로 제한한다. 다중 분류기 시스템 (MCS)에서 분류기를 결합하기 위한 일반적인 프레임워크로서 BMA의 사용을 설명한다.

 

https://link.springer.com/chapter/10.1007/978-3-642-27222-6_12