설명가능한 인공지능 (XAI; eXplainable AI)

설명가능한 인공지능 (eXplainable AI)

 

설명가능한 인공지능 (XAI)는 ML 알고리즘으로 작성된 결과와 출력을 인간인 사용자가 이해하고 이를 신뢰할 수 있도록 해주는 일련의 프로세스와 방법론이다. XAI를 사용하면 AI 모델, 이의 예상된 영향 및 잠재적 편향을 기술할 수 있다. 이는 AI 기반 의사결정에서 모델 정확성, 공정성, 투명성 및 최종 결과를 특성화하는 데 유용하다.

 

 

AI의 책임성과 모델 모니터링을 통해 AI 의사결정 프로세스를 완벽히 이해하는 것이 매우 중요하다. 이를 맹목적으로 신뢰하는 것은 자칫 위험할 수 있다. XAI는 인간이 ML 알고리즘, DL 및 신경망을 이해하고 설명하는 데 있어서 매우 유용하다.

 

ML 모델은 종종 해석이 불가능한 블랙박스로 여겨져 왔다. DL에 사용되는 신경망은 인간이 이해하기에 가장 어려운 분야에 속한다. 종종 인종, 성별, 나이 또는 지역에 기반한 편향은 AI 모델을 훈련시키는 데 있어서 지속적인 위험 요인이었다. 게다가 프로덕션 데이터가 훈련 데이터와 상이하므로, AI 모델 성능이 표류하거나 저하될 수 있다. 따라서 알고리즘 사용의 영향을 관찰함과 동시에 모델을 지속적으로 모니터하고 관리하여 AI 설명가능성을 개선하는 일이 시급하다. 또한 XAI는 일반 사용자 신뢰성, 모델 감사가능성 그리고 AI의 생산적인 사용을 촉진하는 데에도 도움이 된다. 또한 프로덕션 AI의 규제 준수, 법률, 보안 및 평판 리스크도 줄여줄 수 있다. 

 

XAI는 책임 있는 AI를 구현하기 위한 핵심 요구사항 중 하나임과 동시에 공정성, 모델 설명가능성 및 책임성을 통해 AI 방법들을 대규모로 구현하기 위한 방법론이다. AI 책임성 적용을 지원할 수 있도록 신뢰성과 투명성에 기반한 AI 시스템을 구축하여 AI 애플리케이션과 프로세스에 윤리적 원칙을 주입시켜야 한다.

 

XAI를 사용함으로써 AI 모델의 작동을 이해할 수 있도록 도와주면서도 문제점을 해결하고 모델 성능을 개선할 수 있다. 배치 상태, 공정성, 품질 및 표류성에 관한 모델 insight의 추적을 통한 모델 행동 감시는 AI 스케일링에 반드시 필요하다. 지속적 모델 평가는 모델 예측치를 비교하고 모델 리스크를 정량화하며 모델 성능을 최적화할 수 있도록 지원한다. 설명의 생성에 사용되는 데이터로 모델 동작의 긍정적 및 부정적 가치를 표시하면 모델 평가를 가속화할 수 있다. 데이터 및 AI 플랫폼은 모델 예측을 위한 기능 속성을 생성할 수 있으며, 대화식 차트와 출력 가능한 문서를 사용하여 모델 동작을 시각적으로 감시하도록 할 수 있다.