728x90 반응형 SMALL Cohen's Kappa2 Fleiss's Kappa Fleiss's Kappa 모델에서 라벨링 후 데이터의 품질을 확인하기 위해 작업자 간에 라벨링을 얼마나 비슷한 기준으로 했는지를 평가하는 방법이 작업자간 일치도 (IAA)평가이다. IAA의 대표적인 방법으로는 Kappa 계수와 Krippendorff's α (KLUE)가 존재한다. Cohen's Kappa 계수는 두 개의 관찰자가 있는 경우에만 사용된다. 비교 중인 이진 변수에 대해 2개 이상의 관찰자가 있거나 2개 이상의 범주가 있는 경우 "Fleiss Kappa 계수"라고 하는 또 다른 일치 측도를 계산해야 한다. 계수는 관측치의 등급 단위에서 전반적인 일관성을 나타내는 측도이다. 전체 Kappa 공식은 Cohen's Kappa와 동일하지만 p0와 pe는 다르게 계산된다. 여기서 N은 대상의 총 개.. 2023. 8. 17. Cohen's Kappa Cohen's Kappa 일반적으로 카파 상관 계수는 코헨 (Cohen)의 카파 상관 계수 (Kappa)를 가리키며 이는 2명의 관찰자 (또는 평가자)의 신뢰도를 확보하기위한 확률로서 평가 지표로 사용되는 상관 계수이다. 2명 이상에서 신뢰도를 얻기 위해서는 플레이스 카파 상관 계수 (Fleiss' kappa)를 사용할 수 있다. 이 메트릭은 두 평가자 (ex: 지상 실측값, 인간 레이블링 및 추정자) 간의 일치를 측정하는 것이 목표이다. 평가자가 완전한 인식 없이 (일반적으로 우연히) 일치할 가능성을 고려한다. 계산은 다음과 같다. 두 값은 평가자 간에 관측된 합치도와 확률 합치도를 각각 나타낸다. 계수 κ은 0 (합치 없음)과 1 (합치 합계) 사이에 제한된다. 실제로, pobserved = 1과 p.. 2023. 7. 3. 이전 1 다음 728x90 반응형 LIST
