[eXplainable AI] LRP (Layer-Wise Relevance Propagation)

LRP (Layer-Wise Relevance Propagation)

 

레이어 단위 관련성 전파 기술 (LRP)는 NN (Neural Network) 모델에서 결과를 역추적해 입력 데이터의 개별 feature에 대한 기여도를 계산하는 방법으로, 2015년에 Bach 등이 도입하였다. DL 모델의 예측 결과를 분석하여 입력 데이터의 개별 feature에 대한 기여 점수를 도출하는데 사용된다. 각 입력에 대한 기여 점수는 결과 클래스 노드의 클래스 점수를 입력 계층으로 역전파하여 계산된다.

 

입력 인스턴스 x, 선형 출력 y 및 활성화 출력 z가 있는 간단한 NN을 고려하면 시스템은 다음 식과 같이 설명될 수 있다.

 

 

이 방법은 예측에 대한 개별 입력변수의 기여도를 시각화하고 이해하는데 도움이 되는 방식으로 기여도는 top-down 방식으로 각 뉴런의 출력단에서 입력단 방향으로 재분배되며, DL 모델의 부분 모듈인 각 계층의 기여도를 히트맵 형태로 시각화하여 직관적으로 이해할 수 있다.

 

Aditya와 Nhien-AN은 사이버 보안 영역과 관련된 다양한 보안 속성 및 위협 모델을 다루는 설명 가능한 AI 방법에 대한 분류법을 제안하였다. 3가지 보안 관련 dataset 및 모델에 대해 제안된 시스템을 검증하였고 제안된 공격에 의해 XAI 방법의 보안 속성이 손상될 수 있음을 보여주었다. 공격에 대한 정성적 평가를 위해 설명법의 관련성 벡터를 시각화하였으며 그림 3이 이를 나타낸다. 모델 결과와 설명법의 결과가 일치하면 녹색, 일치하지 않으면 붉은색으로 표시되며 밝기는 feature의 중요성을 나타낸다.

 

https://www.sciencedirect.com/science/article/pii/S0031320316303582

 

정리하자면, DL 모델에서 예측 결과로부터 역전파 형태로 신경망의 각 레이어별 기여도를 측정할 수 있는 방법이다. 이러한 방식은 DL 모델의 부분 모듈인 각 레이어의 기여도를 히트맵 형태로 시각화하여 직관적으로 이해할 수 있다.

 

AI 시스템의 예측을 분해하기 위해 FFNN (Feed-Forward Neural Networks), LSTM (Long-Short Term Memory)의 프레임워크를 활용한다. SA와 달리 LRP는 최대 불확실성 (maximum uncertainty) 상태에 대한 예측을 설명하며, 수탉이라고 예측하는 데 있어 중요한 픽셀이 무엇인지 찾아낸다.

 

SA가 편미분을 이용해서 히트맵을 추출하고 이미지를 인식한다면, LRP는 분해로 분류기의 결정을 설명하는 방식이다.

 

LRP는 local redistribution rule을 이용하여 각 입력변수 (ex: 이미지 픽셀)에 관련성 점수(relevance score) R​i​​를 할당할 때까지 계속해서 거꾸로 재분배한다. 재분배 과정의 주요 특징은 관련성 보존이며, 딥러닝의 모든 레이어에서 총 관련성인 예측 f(x)가 보존된다.

 

 

재분배 중에 인위적으로 추가하거나 제거하지 않으며, 각 입력변수의 관련성 점수는 변수가 얼마나 예측에 기여했는지를 설명한다.

 

feed-forward neural networks에 대한 LRP 재분배 과정은 backward로 레이어 k=ℓ+1에서 레이어 ℓ로 관련성을 재분배하는 방식이며, 뉴런의 활성화 함수 x​j​​와 연결의 강도를 나타내는 가중치 w​jk​​에 따라 재분배된다.

 

x​j​​ : 레이어 l에서의 뉴런 활성화 함수 R​k​​ : 레이어 l+1에서 뉴런과의 관련성 점수 w​jk​​ : 뉴런 j와 뉴런 k를 연결하는 가중치 ϵ : 0으로 나눠지는 것을 막는 역할 (하지만 관련성 보존으로 인해 0을 유지)

 

이때, x​j​​는 더 많이 활성화된 뉴런이 더 큰 관련성 평가점수를 부여받게 되고, w​jk​​는 더욱 두드러진 연결을 발생할수록 더 많은 관련성이 있게 된다.

 

 

관련성 보존은 제약조건인 α−β=1이라는 공식에 의해 시행되며, α=1인 경우에는 재분배 규칙 신경망은 ReLU 뉴런으로 구성되게 된다.

 

https://www.koreascience.or.kr/article/JAKO202130548334130.page

정보보호 분야의 XAI 기술 동향 -Review of KIISC | Korea Science