728x90 반응형 SMALL AI-driven Methodology/XAI (eXplainable AI)15 [eXplainable AI] XAI 평가 방법론 (2) 정확도 기반 XAI 평가 XAI를 평가하기 위한 첫 번째 방법인 정확도 평가 방법은 XAI가 예측과 관련된 feature를 얼마나 정확하게 추출하는지를 반영한다. feature와 예측 간의 관계를 직접 평가하는 것에는 한계가 있으므로, 간접적인 방법에 따라 가장 관련성이 높은 feature를 제거함으로써 NN의 예측이 어떻게 변하는지를 측정한다. XAI의 정확도 평가를 위한 DA (Descriptive Accuracy)는 샘플 x가 주어지면 가장 관련성이 높은 k개의 feature x1, ..., xk를 샘플에서 제거하고 결정 함수 fN을 사용하여 새 예측을 계산한 후, k개의 feature 없이 원래 예측 클래스 c의 점수를 측정하여 계산한다. DA 식은 다음 식과 같다. 샘플에서 관련 feature를.. 2022. 5. 3. [eXplainable AI] XAI 평가 방법론 (1) XAI 평가 방법론 오늘날의 임상의사의 진단적/치료적 의사 결정을 지원하는 AI 시스템의 주요한 문제점 중하나는 진단 및 치료에 직간접적으로 관련된 사람들-즉, 의사, 환자, 연구원 등이 충분히 이해할 수있는, 이른바 설명성 (explainability)의 부재라고 할 수 있다. 설명 가능성 (explainability)의 문제는사실 AI 만큼 오래되었고, AI가 존재하기 시작한 때부터 필연적으로 발생할 수밖에 없는 이슈라고 볼 수도 있다. AI 중심적인 접근 방식은 많고 다양한 응용 분야에서 최근 놀라운 성능을보여주지만, 여전히 그것의 결정을 이해할 수 있는 방법으로 "설명"할 수 없기 때문에 그 효과는 제한적일 수밖에 없었다. 우리가 기본적인 수학 이론을 이해한다고 해도 모델이 어떤 원리/논리로 작동.. 2022. 5. 3. [eXplainable AI] DeepLIFT DeepLIFT 2022. 5. 3. [eXplainable AI] Saliency Saliency 2022. 5. 3. [eXplainable AI] SHAP SHAP (SHapley Additive exPlanations) SHAP은 1953년 Shapley가 처음으로 제안한 방안으로 게임 이론에 기반하며 모델에서 feature의 중요성에 대한 강력하고 통찰력 있는 해석을 제공한다. 2017년에 Lundberg와 Lee가 LightGBM, XGBoost, GBoost, CatBoost 및 Scikit-learn 트리 모델을 포함한 다양한 기술에 대해 SHAP를 계산할 수 있는 Python 패키지를 개발하였다. 다음 식은 SHAP 수식을 나타낸다. SHAP는 feature들을 추가 및 제거하는 dataset을 만들어 이를 선형 모델로 구성하고 이렇게 구성된 선형 모델의 가중치를 가지고 해석하는 방식으로 ‘특정 변수가 제거’되면 얼마나 예측에 변화를 주는지 살펴.. 2022. 5. 3. [eXplainable AI] SA (Sensitivity Analysis) SA (Sensitivity Analysis) Sensitivity Analysis는 독립 변수의 다른 값이 주어진 가정 집합에서 특정 종속 변수에 미치는 영향을 결정한다. 즉, 민감도 분석은 수학적 모델의 다양한 불확실성 소스가 모델의 전체 불확실성에 어떻게 기여하는지 연구한다. 이 기술은 하나 이상의 입력 변수에 의존하는 특정 경계 내에서 사용된다. SA는 비즈니스 세계와 경제 분야에서 사용된다. 일반적으로 재무 분석가와 경제학자가 사용하며 가정 분석이라고도 한다. SA는 독립 변수의 다른 값이 주어진 가정 집합에서 특정 종속 변수에 미치는 영향을 결정한다. 이 모델은 what-if 또는 시뮬레이션 분석이라고도 한다. SA는 상장 기업의 주가를 예측하거나 금리가 채권 가격에 미치는 영향을 예측하는 데.. 2022. 5. 3. [eXplainable AI] LRP (Layer-Wise Relevance Propagation) LRP (Layer-Wise Relevance Propagation) 레이어 단위 관련성 전파 기술 (LRP)는 NN (Neural Network) 모델에서 결과를 역추적해 입력 데이터의 개별 feature에 대한 기여도를 계산하는 방법으로, 2015년에 Bach 등이 도입하였다. DL 모델의 예측 결과를 분석하여 입력 데이터의 개별 feature에 대한 기여 점수를 도출하는데 사용된다. 각 입력에 대한 기여 점수는 결과 클래스 노드의 클래스 점수를 입력 계층으로 역전파하여 계산된다. 입력 인스턴스 x, 선형 출력 y 및 활성화 출력 z가 있는 간단한 NN을 고려하면 시스템은 다음 식과 같이 설명될 수 있다. 이 방법은 예측에 대한 개별 입력변수의 기여도를 시각화하고 이해하는데 도움이 되는 방식으로 기여.. 2022. 5. 2. [eXplainable AI] ANN-CBR Twins ANN-CBR Twins 2022. 5. 2. [eXplainable AI] ProtoPNet ProtoPNet 2022. 5. 2. [eXplainable AI] Grad-CAM with MNIST Create pipeline to train model with MNIST dataset # Import tensorflow and matplot lib from tensorflow.keras.datasets.mnist import load_data from matplotlib import pyplot as plt import tensorflow as tf # load MNIST dataset (trainX, trainy), (testX, testy) = load_data() # Plot example images for i in range(36): # Defining subplots for multiple images plt.subplot(6, 6, i+1) # plot raw pixel data pl.. 2022. 2. 10. 이전 1 2 다음 728x90 반응형 LIST
