[eXplainable AI] SHAP

SHAP (SHapley Additive exPlanations)

 

SHAP은 1953년 Shapley가 처음으로 제안한 방안으로 게임 이론에 기반하며 모델에서 feature의 중요성에 대한 강력하고 통찰력 있는 해석을 제공한다. 2017년에 Lundberg와 Lee가 LightGBM, XGBoost, GBoost, CatBoost 및 Scikit-learn 트리 모델을 포함한 다양한 기술에 대해 SHAP를 계산할 수 있는 Python 패키지를 개발하였다. 다음 식은 SHAP 수식을 나타낸다.

 

 

SHAP는 feature들을 추가 및 제거하는 dataset을 만들어 이를 선형 모델로 구성하고 이렇게 구성된 선형 모델의 가중치를 가지고 해석하는 방식으로 ‘특정 변수가 제거’되면 얼마나 예측에 변화를 주는지 살펴보고, 그에 대한 답을 SHAP 값으로 표현하는데 이때 SHAP 값은 한 예측에서 변수의 영향도를 방향과 크기로 표현한다.

 

Wang 외 2인은 IDS (Intrusion Detection System) 판단에 대한 국지적 및 전역적 설명을 제공하는 프레임워크를 제안했다. NSL-KDD dataset를 이용하여 제안 프레임워크를 검증하였으며, 그림은 제안 프레임워크를 통한 DoS 공격에서의 feature 간의 관계를 시각화한 그래프이다. 두 가지 feature에 대해 시각화하였으며, 각 feature와 DoS 공격의 유형 간의 관계를 분석할 수 있도록 한다. 그래프 (a)의 선 그래프에서 wrong_blight=0인 경우 Pod (붉은색) 및 Teardrop (갈색)의 평균 Shapley 값이 음수로 나타났으며, 이는 wrong_fragment의 값이 0일 때 데이터가 Pod 또는 Teardrop이라는 예측 결과에 부정적인 영향을 미친다는 것을 의미한다. 반대로 wrong_fragment=1인 경우에는 Pod 값이 양수로 도출되어 데이터가 Pod라는 예측 결과에는 긍정적인 영향을 미친다고 볼 수 있다. 이와 같은 방법으로 다른 결과에 대해서도 해석이 가능하다. 해당 논문에서 제안된 프레임워크는 결과 예측 시 가장 영향도가 높았던 feature를 알 수 있어 IDS 환경에서의 공격 탐지 모델에 해석 가능성 및 신뢰성을 부여할 수 있다. 이를 통해 분석가가 IDS 판단을 더 잘 이해할수록 도움을 줄 수 있다.

 

feature 값과 공격의 특정 유형 간의 관계 예시

 

Kim 외 3인는 보안 분석가에게 AI 모델의 예측에 대한 신뢰성을 제공하기 위해 SHAP 기반 AI 통계분석 기법을 활용한 예측 신뢰성 지표를 제안했다. 제안된 방법은 XAI 기법 중 SHAP를 이용하여 대규모 위협을 효율적으로 분석하고 AI 모델 학습에 크게 영향을 끼친 feature를 분석가가 쉽게 이해할 수 있도록 FOS (Feature Outlier Score)라는 점수를 통해 계산된 지표를 제공한다. AI의 한계점으로 인해 분석가는 실 보안 환경의 위협 각각에 대해 직접적인 최종 확인이 필요했으나 일일 작업량이 제한되어 있어 모든 위협에 대한 분석이 불가능했다. 이를 해결하기 위해 신뢰 지표를 제안하였으며 분석가가 중요한 데이터에 집중하고 신속하게 AI 예측을 확인할 수 있도록 하였다. 결과적으로 AI의 해석가능성을 제공하면서 기존 AI 모델 대비 우수한 결과가 산출되는 것을 확인하였다. 그림은 IDS (Intrusion Detection System) dataset를 활용한 실험 결과를 나타낸다.

 

AI 모델 및 제안된 방법의 탐지된 오류 비율

 

https://www.koreascience.or.kr/article/JAKO202130548334130.page

정보보호 분야의 XAI 기술 동향 -Review of KIISC | Korea Science