[eXplainable AI] XAI 평가 방법론 (2)

정확도 기반 XAI 평가

 

XAI를 평가하기 위한 첫 번째 방법인 정확도 평가 방법은 XAI가 예측과 관련된 feature를 얼마나 정확하게 추출하는지를 반영한다. feature와 예측 간의 관계를 직접 평가하는 것에는 한계가 있으므로, 간접적인 방법에 따라 가장 관련성이 높은 feature를 제거함으로써 NN의 예측이 어떻게 변하는지를 측정한다.

 

XAI의 정확도 평가를 위한 DA (Descriptive Accuracy)는 샘플 x가 주어지면 가장 관련성이 높은 k개의 feature x1, ..., xk를 샘플에서 제거하고 결정 함수 fN을 사용하여 새 예측을 계산한 후, k개의 feature 없이 원래 예측 클래스 c의 점수를 측정하여 계산한다. DA 식은 다음 식과 같다.

 

 

샘플에서 관련 feature를 제거하면 NN이 정확한 예측을 할 수 있는 정보가 적어지기 때문에 정확도가 낮아진다. XAI 성능이 높을수록 DA가 급격히 감소하며, XAI 성능이 비교적 낮을수록 DA가 점진적으로 감소한다.

 

그림은 4가지 보안 시스템에 대한 DA 실험 결과를 나타낸다. 전체적으로 IG 및 LRP 방법이 DA의 급격한 감소가 있음을 확인할 수 있다. VulDeepecker의 경우에서만 LIME의 방식이 미세한 차이로 가장 급격한 경사를 나타냄을 알 수 있다. 결과적으로 해당 실험 결과를 통해 LRP 및 IG 방법이 가장 우수함을 알 수 있다.

 

ADA (Average descriptive accuracy) 예시

 

희소성 기반 XAI 평가

 

예측에 영향을 미치는 feature에 높은 관련성을 할당하는 것은 우수한 설명 가능성을 제공하기 위해 필수 전제 조건이다. 그러나 분석가 인력은 제한적이기 때문에 feature의 분석 또한 제한적으로 처리할 수 있다. 희소성 평가는 이러한 경우를 위한 방법론으로 다음의 방법을 통해 측정된다. 관련성 값을 범위 [-1, 1]로 스케일링하고, 정규화된 histogram h를 계산하며, 다음 식과 같이 정의된 MAZ (Mass Around Zero)를 계산하여 측정된다.

 

 

희소한 설명을 제공하는 XAI는 대부분의 feature가 관련 집합이 없는 것으로 표시되기 때문에 MAZ가 0에서 가파르고 1 부근에서는 평평하며, 반대로 밀집된 설명을 제공하는 XAI는 0에서는 눈에 띄게 작은 기울기를 가지며 관련 feature의 집합이 더 많음을 나타낸다. 결과적으로 MAZ 분포가 0에서 가파를수록 XAI의 설명 방법이 우수함을 알 수 있다.

 

그림은 4가지 보안 시스템에 대한 희소성 실험 결과를 나타낸다. IG, LRP 및 Gradients 방법이 가장 가파른 기울기를 보여주고 대부분의 feature가 거의 관련성이 없다는 것을 알 수 있다. 대조적으로 다른 XAI 방법들은 더 넓은 범위의 관련성 값을 생성하고, 덜 희소하기 때문에 0에서 MAZ의 기울기가 비교적 가파르지 않은 것을 확인할 수 있다. DAMD의 경우, IG는 0에서 매우 가파른 기울기를 나타내고 있으며, 이는 거의 모든 feature가 관련성이 없는 것으로 볼 수 있다.

 

MAZ (Mass Around Zero) 예시

 

https://www.koreascience.or.kr/article/JAKO202130548334130.page

정보보호 분야의 XAI 기술 동향 -Review of KIISC | Korea Science