[Deep Learning] Perplexity

Perplexity

 

 

정보 이론에서 Perplexity는 확률 분포 또는 확률 모델이 샘플을 얼마나 잘 예측하는지를 측정하는 것이다. 그리고 확률 모델을 비교하는 데 사용할 수 있다. Perplexity가 낮다는 것은 확률 분포가 샘플을 예측하는 데 능숙하다는 것을 나타낸다.

 

▪ 언어 모델에서 Perplexity은 모델의 성능을 측정하는 데 사용 ▪ 외재적 평가 (extirnsic evaluation) : 실제 작업으로 입력에 대한 결과를 확인하는 평가 방식 ▪ 내재적 평가 (intrinsic evaluation) : 모델 내에서 자신의 성능을 수치화하여 결과를 내놓는 평가 방식 ▪ Perplexity는 일반적으로 단어에서 사용

 

범주 분류에서 교차 엔트로피는 경계 엔트로피 기반 라벨의 합산이다. Chain Rule을 적용하면 다음과 같이 표현 가능하다.

 

 

문장의 길이가 길어질수록 확률이 낮아지기 때문에 문장 길이 N 제곱근으로 정규화한다. PPL은 단어의 수로 정규화 (normalization)된 테스트 데이터에 대한 역수이다. PPL을 최소화한다는 것은 문장의 확률을 최대화하는 것과 같은 뜻이다.

 

 

 언어 모델 (language model)의 성능 평가에서 Loss 대신 사용 가능하다.