[eXplainable AI] XAI 평가 방법론 (1)

XAI 평가 방법론

 

오늘날의 임상의사의 진단적/치료적 의사 결정을 지원하는 AI 시스템의 주요한 문제점 중하나는 진단 및 치료에 직간접적으로 관련된 사람들-즉, 의사, 환자, 연구원 등이 충분히 이해할 수있는, 이른바 설명성 (explainability)의 부재라고 할 수 있다. 설명 가능성 (explainability)의 문제는사실 AI 만큼 오래되었고, AI가 존재하기 시작한 때부터 필연적으로 발생할 수밖에 없는 이슈라고 볼 수도 있다. AI 중심적인 접근 방식은 많고 다양한 응용 분야에서 최근 놀라운 성능을보여주지만, 여전히 그것의 결정을 이해할 수 있는 방법으로 "설명"할 수 없기 때문에 그 효과는 제한적일 수밖에 없었다. 우리가 기본적인 수학 이론을 이해한다고 해도 모델이 어떤 원리/논리로 작동하는지에 대한 통찰력을 얻고 결과가 어떻게, 왜 달성 되었는지를 설명하는 것은 복잡하고 사실 거의 불가능에 가까운 문제라 할 수 있다.

 

본질적으로, “설명성 (explainability)”이란 특정 AI가 제시한예측에 대하여 타당한 이유를 재구성할 수 있는 AI 기반 시스템의 특성으로 설명할 수 있다. 설명성은 일반적으로 3가지 단계가 존재하는데 보통 모델링 전 설명성 (pre-modelling explainability),설명 가능한 모델링 (explainable modelling), 모델링 후 설명성 (post-modelling explainability)으로 분류한다. 여기서 주목해야 할 중요한 점은 AI의 설명성을 설명하기에는 많은 측면이 고려되어야 하며, 설명성이란 개념이 정의하기가 쉽지 않다는 점이다. “해석성” 또는 “투명성”과 같은 다른 용어는 종종 설명성과 같은 개념으로 사용된다. 임상에서 전문의의 의사결정을 돕기 위해서는 학습된 표현의 인과관계를 이해하는 것이 필수이기 때문에 설명성은 의학에서 특히 중요하다고 할수 있다.

 

AI 설명성의 3단계 (3 Stages of AI explainability)

https://www.frontiersin.org/files/Articles/490966/fnins-13-01346-HTML-r1/image_m/fnins-13-01346-g002.jpg

 

Definitions and Preliminaries

 

의료, 신용등급 측정 등에서 인공지능이 사용되기 위해 필요한 윤리성, 사법성, 안전성을 가지기 위해 필요한 것이라 말한다.

 

Interpretability

 

해석가능성 (Interpretability)이란 특정 알고리즘이 어떻게 동작하는지 이해할 수 있게, 충분한 표현을 제공하는 알고리즘의 기능이나 특징이다. 해석가능한 도메인은 이미지나 텍스트 등 사람이 이해할 수 있는 영역을 포함한다.

 

Interpretation 

 

해석 (Interpretation)이란 복잡한 도메인의 단순화된 표현이다. 예를 들어 ML모델의 결과물이나, 사람이 이해가능/합리적인 의미있는 콘셉트이다.

 

rule-based 모델의 예측 결과물은 rule-set을 통해 쉽게 해석될 수 있다. CNN 네트워크 등은 의사 결정에 영향을 미친 부분을 추론할 수 있다.

 

Explanation

 

설명 (Explanation)이란 ML모델이나 외부 알고리즘에 의해 생성된 추가적인 메타 정보이다. 이는 피처 중요도나, 입력 데이터와 출력 데이터의 관련성을 묘사한다. 

 

예를 들어, 이미지에 대해서는 입력 이미지와 같은 크기의 픽셀 맵인 explanation map이 생성될 수 있다. 텍스트에 대해서는 word-by-word influence scores가 있다.

 

White-box 

 

DL 모델 f에 대해서, 모델 파라미터 θ와 모델 구조가 알려져 있는 경우, 이 모델을 화이트박스 (White-box)라 한다.

 

화이트 박스 모델은 모델 디버깅을 용이하게 하고, 신뢰도를 향상시킨다. 하지만 단순히 모델 구조와 파라미터에 대해서 아는 것은 모델을 설명 가능하게 하지는 않는다.

 

Black-box 

 

모델 파라미터나 네트워크 구조가 최종 사용자에게 숨겨져 있으면 이를 블랙박스 (Black-box)라고 한다.

 

웹 기반 딥러닝 모델 서비스나, 제한된 비즈니스 플랫폼에서의 API식 모델은 입력 데이터를 받아 단순히 결과물만 반환하는 블랙박스적 구성을 띄고 있다.

 

Transparent

 

DL 모델의 표현이 사람이 알아듣기 충분한 경우, 모델을 투명하다 (Transparent)고 한다.

 

XAI는 투명성을 증가시키면 것은 결과물을 사람이 인식할 수 있게 해석하므로 투명성과 공정성이 증가한다. 투명성이 높으면 결과물의 질이 상승하고, artifact를 차단할 수 있게 된다.

 

Trustbility 

 

DL 모델의 신뢰가능성 (Trustbility)은 최종 사용자인 인간으로서, 현실 환경에서에서 모델의 의도한 동작에 대해서 측정된 확신의 정도이다.

 

인간은 사회적 동물로서 특정 상황에 대한 지식과 사실에 의해 결정을 내린다. 자연스럽게 아무 설명이 없는 최적의 결정보다 덜 합리적인 결정에 대해 과학적 설명/논증이 있는 것이 더 낫다고 판단할 것이다.

 

http://webcache.googleusercontent.com/search?q=cache:y7OhT1rO580J:m.ibric.org/miniboard/view_report.php%3FBoard%3Dreport%26id%3D3751%26type%3D1%26filename%3Dpdf_0003751.pdf+&cd=2&hl=ko&ct=clnk&gl=kr 

의료/ 헬스케어 분야에서의 설명 가능 인공지능(Explainable AI) 연구 동향