[NLP] 설명가능한 인공지능 (Explainable AI, XAI)

설명가능한 인공지능 (XAI)

 

언어 데이터를 대상으로 한 딥러닝 알고리즘의 예측결과에 대해 인간에게 설명할 수 있는 AI모델

 

딥러닝의 한계 : 'black box' algorithm, 예측결과가 그렇게 나왔는지 설명 불가능

ML은 기계가 인간 사용자에게 자신의 결정과 조치를 설명할 수 없다는 점에서 제한된다. 따라서 보다 지능적이고 자율적이며 공생적인 시스템을 요구하는 과제에 직면해 있다. 차세대 인공 지능 기계 파트너를 이해하고 적절하게 신뢰하고 효과적으로 관리하려면 설명 가능한 AI, 특히 설명 가능한 기계 학습이 필수적이다.

 

 

◦ 높은 수준의 학습 성능(예측 정확도)을 유지하면서 더 설명 가능한 모델 생성

◦ 인간 사용자가 차세대 인공 지능 파트너를 이해하고 적절하게 신뢰하며 효과적으로 관리할 수 있도록 함

 

XAI concept

 

새로운 ML 시스템은 그 근거를 설명하고, 강점과 약점을 특성화하고, 미래에 어떻게 행동할 것인지에 대한 이해를 전달할 수 있는 능력을 갖게 될 것이다. 그 목표를 달성하기 위한 전략은 더 설명 가능한 모델을 생성할 새로운 또는 수정된 기계 학습 기술을 개발하는 것이다. 이러한 모델은 모델을 최종 사용자가 이해할 수 있고 유용한 설명 대화로 변환할 수 있는 최첨단 인간-컴퓨터 인터페이스 (BCI) 기술과 결합된다. 이것은 미래 개발자에게 성능 대 설명 가능성 거래 공간을 포괄하는 다양한 디자인 옵션을 제공할 방법 포트폴리오를 생성하기 위해 다양한 기술을 추구할 것이다.

 

유럽에서는 유럽인들의 가치와 일치하는 인공지능을 개발하기 위해 XAI의 중요성을 강조하고 있다. 이 개념은 유럽 일반 정보보호규정(General Data Protection Regulation)에서 유럽 시민들에게 영향을 미치는 의사결정(e.g. AI system)에 대하여 설명을 할 권한이 있다는 규정이 있다. (신승기, "설명가능한 인공지능기반의 인공지능 교육 프로그램 개발”, 정보교육학회 학술논문집 제12권 제2호(2021), p150)

 

https://www.darpa.mil/program/explainable-artificial-intelligence

https://www.darpa.mil/program/explainable-artificial-intelligence