설명 가능한 AI 이란
투명한 의사결정을 하는 AI
설명 가능한 AI(Explainable AI, XAI) 는 시스템이 인간이 이해할 수 있는 형태로 결정을 설명할 수 있는 인공지능 분야입니다.
설명 가능성이 중요한 이유
- 신뢰 — AI 결정 뒤에 있는 논리 이해
- 규제 — 요구사항 준수 (GDPR, AI법)
- 디버깅 — 모델 오류 및 편향 식별
- 책임 — 잘못된 결정의 원인 파악
설명 방법
- LIME — 개별 예측에 대한 로컬 설명
- SHAP — 결과에 대한 각 특성의 기여도
- 어텐션 맵 — 모델 초점의 시각화
- 반사실적 — "만약" 시나리오
적용 분야
- 의료 (진단, 치료 권장)
- 금융 (신용 스코어링, 사기 탐지)
- 법률 (법원 결정, 재범 위험)
- HR (채용, 성과 평가)
트레이드오프
모델 정확도와 해석 가능성 사이에는 종종 트레이드오프가 존재합니다. 단순한 모델(결정 트리)은 신경망보다 이해하기 쉽습니다.