[DAY 33] xAI

[천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기
학습일 : 2024.08.28

📕 학습 목록

• xAI
• SHAP
• Aha
• Rule-out

 

📗 기억할 내용

1. 설명 가능한 인공지능 (xAI: Explainable AI)

1) xAI

 
① 정의

• xAI(설명 가능한 인공지능) : 인공지능 모델의 의사결정 과정을 이해하고 설명할 수 있도록 하는 접근법
• xAI는 모델이 특정 예측을 내리기 위해 사용한 데이터와 논리를 투명하게 제시하여, 사용자나 이해관계자들이 모델의 결정에 대해 신뢰를 가질 수 있도록 함
• 인공지능 시스템의 결과가 어떻게 도출되었는지 설명할 수 있어야 함

② 목표

• 투명성: 모델이 어떻게 작동하는지 이해할 수 있도록 명확한 설명을 제공
• 신뢰성: 사용자들이 모델의 결정에 신뢰를 가질 수 있도록 지원
• 공정성: 모델의 결정 과정에서 발생할 수 있는 편향이나 차별을 감지하고 교정
• 법적 및 윤리적 책임: 모델의 결정에 대한 책임을 명확히 하고, 윤리적 문제를 사전에 방지

③ xAI의 주요 기법

• SHAP(SHapley Additive exPlanations) Values: 모델이 예측을 내릴 때, 각 feature가 결과에 미친 영향을 개별적으로 평가하여 설명
• LIME(Local Interpretable Model-agnostic Explanations): 모델의 예측을 개별적으로 설명하기 위해, 해당 예측 주변의 데이터를 이용해 단순한 모델을 생성하고 이를 통해 설명
• Feature Importance: 모델이 예측에 얼마나 중요한 영향을 미쳤는지 각 feature의 중요도를 평가

 
2) SHAP (SHapley Additive exPlanations)

 
① 정의

• SHAP : 게임 이론의 샤플리 값(Shapley Values)을 기반으로 하여 각 feature가 모델의 예측에 미치는 영향을 계산
• 각 feature의 기여도를 공정하고 일관되게 평가하여, 모델의 예측을 이해하고 설명하는 데 사용

② SHAP 패키지

• at 파이썬, SHAP 패키지는 머신러닝 모델의 예측을 해석하기 위한 도구로, 다양한 모델에 적용할 수 있음
• 주요 기능

- 로컬 해석 : 특정 예측에 대해 각 feature가 얼마나 기여했는지 시각화
- 글로벌 해석 : 전체 데이터셋에서 feature들의 중요도를 시각화하고, 모델의 행동을 설명
- 다양한 모델 지원 : 트리 기반 모델, 선형 모델, 신경망 등 다양한 모델에 적용 가능

[TIP] SHAP Values, Feature Values, Feature Importance, Impact Values

용어	정의	사용 사례	계산 방법
SHAP Values	- 특정 feature가 모델의 예측에 기여하는 정도 - 각 feature의 영향력을 균형 있게 평가하여 모델 예측에 대한 설명을 제공	모델 예측의 투명성을 높이기 위해, 각 feature가 예측에 미치는 기여도를 해석	게임 이론에 기반하여 각 feature의 기여도를 계산하며, 전체 feature 세트에 대한 마진을 평가하여 SHAP 값을 도출
Feature Values	- 모델에 입력된 feature의 실제 값 - 모델에 사용되는 원시 데이터 포인트나 변수	머신러닝 모델의 학습 및 예측에 사용되는 입력 데이터로 활용	계산되지 않고 관측되거나 측정된 데이터 포인트
Feature Importance	- 모델의 예측에 있어 각 feature가 얼마나 중요한지를 측정 - 모델의 의사결정 과정에 각 feature가 얼마나 기여하는지를 나타냄	중요한 feature를 선택하고, 모델의 정확도에 중요한 feature를 파악	Permutation Importance, SHAP 값, 또는 의사결정 트리의 Gain 등을 통해 계산
Impact Values	- 모델의 출력에 대한 feature의 전체적인 효과 또는 영향 - feature가 모델의 출력에 미치는 크기와 방향(긍정적/부정적)을 이해하는 데 사용	모델 예측을 해석하고, 출력에 대한 feature의 전체적인 영향을 이해하기 위해 주로 사후 분석에서 사용	SHAP 값과 같은 다양한 방법을 통해 계산되며, 각 상황에 따라 다르게 적용됨

 
 
3) Aha 이론 (Action 'X' vs Retain 'Y')

 
① 정의

• 액션(X)을 취했을 때 특정 피처가 Retain(Y)  인과관계를 이해하고 최적화하는 데 중점을 둠
• 겹치지 않는 부분(X와 Y의 차이)을 최소화하여, 액션이 있을 때 Retain이 일어나도록 하는 것이 목표

② 구성 요소

• Retained Feature(Y) : 액션(X) 이후에도 예측 결과에 지속적으로 중요한 영향을 미치는 피처. 모델이 유지하려는 결과를 나타냄

* Retain : at 머신러닝, 모델이 액션(X)을 취했을 때, 그 결과로 피처(Y)가 예측에 지속적으로 중요한 역할을 하는 것
- ex : 특정 피처에 대한 변경(액션)을 했을 때, 그 피처가 예측에 중요한 기여를 계속 유지(Retain)하는 경우,
모델이 그 피처를 "Retain"하고 있다고 볼 수 있음

• Action Feature(X) : 모델의 예측에 영향을 미치는 특정 행동이나 이벤트를 나타내는 피처. 이 행동을 통해 결과(Y)를 유도함
• 겹치는 부분 : Action Feature (X)와 Retained Feature (Y)가 동시에 참(true)인 경우를 의미. 즉, 어떤 액션을 취했을 때 그 결과가 유지(Retain)되는 경우. 겹치는 부분이 클수록, 두 피처 간의 상관관계가 높아짐. 이는 X(액션)가 Y(결과 유지)로 이어지는 인과관계가 강해진다는 것을 의미

• 예시 그림

* 왼쪽 그림
- X와 Y의 겹치는 부분이 작음
- 액션(X)을 취했을 때 Retain(Y)이 동시에 발생하는 경우가 적고, 상관관계가 낮음

* 오른쪽 그림
- 겹치는 부분이 더 커짐 BUT 여전히 겹치지 않는 부분이 있어, 일부 액션이 retain되지 않을 가능성이 있음

 
 

4) 룰아웃(Rule-out)

• 정의

• 분석 과정에서 불필요하거나 관련 없는 요소를 제거하여 중요한 변수나 결과에 집중하는 과정
• XAI에서 룰아웃은 특정 feature가 분류에 영향을 미치지 않거나, 잘못된 결정을 초래할 가능성이 높을 때, 해당 feature를 모델에서 배제하는 데 사용됨

 

2. XAI의 최종 목표

• XAI(설명 가능한 인공지능) : 모델의 예측 과정을 투명하게 설명 & 이해 가능하게 만드는 것을 목표로 함
• 목표 달성을 위한 기법∙이론 
  1. SHAP : 각 feature가 모델 예측에 미치는 기여도를 평가 → XAI의 투명성↑
  2. Aha 이론 : 액션(X)과 Retain(Y) 간의 인과관계를 강화 → 모델의 예측이 왜 그렇게 이루어졌는지를 설명
  3. 룰아웃 : 불필요하거나 잘못된 feature를 제거 → 모델의 예측 정확성∙신뢰성 ↑
• 즉, XAI라는 큰 틀 안에서 SHAP, Aha 이론, 룰아웃이 서로 보완적으로 작용하며 모델의 해석 가능성과 최적화를 도움

 

📙 내일 일정

• 머신러닝 심화