728x90 반응형 SMALL 정보 이론1 [Deep Learning] Perplexity Perplexity 정보 이론에서 Perplexity는 확률 분포 또는 확률 모델이 샘플을 얼마나 잘 예측하는지를 측정하는 것이다. 그리고 확률 모델을 비교하는 데 사용할 수 있다. Perplexity가 낮다는 것은 확률 분포가 샘플을 예측하는 데 능숙하다는 것을 나타낸다. ▪ 언어 모델에서 Perplexity은 모델의 성능을 측정하는 데 사용▪ 외재적 평가 (extirnsic evaluation) : 실제 작업으로 입력에 대한 결과를 확인하는 평가 방식 ▪ 내재적 평가 (intrinsic evaluation) : 모델 내에서 자신의 성능을 수치화하여 결과를 내놓는 평가 방식▪ Perplexity는 일반적으로 단어에서 사용 범주 분류에서 교차 엔트로피는 경계 엔트로피 기반 라벨의 합산이다. Chain .. 2023. 6. 27. 이전 1 다음 728x90 반응형 LIST
