설명가능 인공지능 (XAI)

Q) 책임 있는 AI(Responsible AI)란 어떤 AI인가?
A) 신뢰성 있는 AI!

설명가능 인공지능(XAI; eXplainable AI)은 AI의 예측이나 의사결정 과정을 인간이 이해할 수 있도록 설명해주는 기술 또는 방법론을 의미한다. 특히 딥러닝처럼 복잡한 모델의 결정 논리를 해석 가능하게 만들어 신뢰성, 투명성, 책임성을 확보하려는 목적이 있다.

(1) 정의와 필요성

XAI(Explainable AI)는 인공지능의 판단 과정이 "왜 그런 결과를 도출했는가?"에 대한 답변을 할 수 있도록 하는 접근이다.

특히 의료, 법률, 금융, 국방과 같은 분야에서는 AI의 투명한 설명이 필수적이며, 설명 불가능한 AI는 신뢰받기 어렵다.

인공지능 모델이 제시하는 예측 결과를 사용자가 받아들이지 못하거나 이해하지 못한다면, 예측 결과를 신뢰하거나 사용하기 어렵다.
또한, 인공지능의 오류를 수정하려면 인공지능이 결과를 판단하는 근거 및 이유를 알아야 한다.
설명가능 인공지능은 인공지능 시스템이 도출한 예측 결과와 그 과정을 인간이 이해할 수 있도록 해서 이런 문제를 해결한다.
출처: https://v.daum.net/v/9QRkXAWAqi

설명가능 인공지능은 사용자에게 전달한 결과가 왜 ‘고양이’인지에 대한 이유를 설명한다.
단순히 그 이유를 보여주는 것을 넘어, ‘설명 인터페이스’를 통해 인간이 즉시 이해하고 해석할 수 있도록 도움을 준다.
출처: https://techntales.medium.com/

출처: https://www.bigdatavietnam.org/2017/11/explainable-artificial-intelligence-xai.html

XAI 구조 예시 — 그림 1. XAI의 기본 구성: 예측 모델과 설명 모듈의 분리 (출처: https://www.mdpi.com/)

(2) 주요 기법

1) 설명 기법

가. 모델 본연 설명 (Interpretable Models)

결정 트리, 선형 회귀, 규칙 기반 시스템 등
모델 구조 자체가 직관적으로 이해 가능

나. 사후 설명 기법 (Post-hoc Explanation)

LIME: 로컬 선형 근사를 통해 예측 이유 설명
SHAP: 샘플별 특징 기여도를 시각화
Attention Map, Grad-CAM 등 신경망 시각화 도구

2) 시각화 기법

의사결정트리 이용하기
신경망 노드에 설명 붙이기
모델 유추하기

(3) 정확성과의 관계

일반적으로 설명 가능한 모델일수록 구조가 단순하므로 정확성은 낮을 수 있다. 반면, 높은 정확성을 가진 딥러닝 모델은 설명이 어렵다.

따라서 정확성과 설명성 사이의 균형을 고려하여 분야별로 적절한 AI 모델을 선택해야 한다.

XAI — 그림 1. Complexity vs Explainability (출처: https://www.mdpi.com/)

(4) 효과

1) 기술적 관점

인공신경망의 내부를 들여다보면서 인공지능이 낸 결과의 인과관계 이해 가능
설명가능 인공지능은 설계자와 개발자에게 데이터 편향성 탐지·제거, 모델의 정확성·성능 개선 등의 효과 제공

2) 비즈니스 관점

투명성 보장으로 감사에 대비
기업의 신뢰성 향상
직원들과의 협업

3) 법과 제도적 관점

인공지능으로 인한 분쟁이 발생할 경우, 문제의 원인을 파악하는 것이 중요
이때 설명가능 인공지능을 활용한다면 분쟁의 원인 파악 및 중재까지 가능

4) 인공지능 산업 관점

인공지능은 블랙박스라는 한계로 특정 산업 및 분야에 국한해 사용
설명가능 인공지능이 활성화된다면 어떤 산업 분야에라도 적용 가능
인공지능이 범용적으로 활용됨으로써 인공지능 산업은 절정기에 이를 수 있음

(5) 응용 분야

의료: 진단 결과의 원인을 설명해야 의사가 신뢰

의료 분야의 경우 당뇨병성 망막병증을 진단하고 병변을 검출하는 컴퓨터 보조 검출 시스템이 소개된 바 있다. 네덜란드의 한 안과 연구진의 연구 사례로 망막 기저부의 이미지를 입력 데이터로 사용하면, 건강한 망막을 자동으로 감지하고 병이 진행되고 있는 망막의 이미지를 선별해 안과 전문의를 돕는 보조 시스템이다. 이 시스템은 의심스러운 국소 병변을 안과의와 함께 검사할 수 있는 대화형 도구를 제공하여, 인공지능의 의사결정을 신뢰할 수 있도록 돕는다는 데에 의의가 있다.

금융: 대출 심사 결과의 정당성 확보 필요

법률: 자동 판례 추천 또는 법률 해석에서 투명성 요구

자율주행: 사고 발생 시 책임 판단을 위한 설명 필요

자율주행의 영역에서도 NDRT(Non-Driving Related Task) 상황에서 인공지능이 상황 제어권을 가지고 있다는 것을 어떻게 운전자에게 설명할 것인지, 그런 상황들을 어떻게 분류하고 짧은 시간 내에 효율적으로 전달할 것인지에 대한 연구도 XAI의 영역이라고 할 수 있다. 자율주행의 특성상 운전자와 실시간으로 상호에 대한 interaction이 필요하기 때문에 운전자에게 전달하기 위한 설명 인터페이스를 개발하는 User eXperience와 인터페이스 영역까지 확대되어 있는 분야라고 할 수 있다.

자율주행차의 시각적 인식 시스템(Semantic Segmentation)
자율주행 AI가 카메라로 촬영한 영상에서 각 객체를 실시간으로 식별하고 분류하여, 안전한 주행 판단을 내리는 과정을 시각화한 것이다. 이러한 시맨틱 세그멘테이션 기술은 자율주행의 핵심 기술 중 하나이다.

마케팅

미국 심머신(simMachines, Inc.)이 개발·공급하는 AI 심머신(AI simMachines)은 XAI의 일종이다. 이 솔루션은 소비자 행동에 영향을 미치는 빅데이터에 기반하여, 기업의 패턴을 감지하고 미래의 수요 또는 소비를 예측하며 과거의 추이를 가시화한다. 심머신의 솔루션은 소비자의 특성과 소비행태로 고객을 등급으로 그룹화하고, 그룹의 특성을 가시화하여, 마케팅이나 광고에 활용 가능한 통찰을 제공한다.

부품 제조 결함 탐색 시기와 원인을 판정

'모션보드 스카이 AI(MotionBoard for SkyAI)'는 일본 스타트업 스카이디스크(Skydisc)에서 제공한 자동차의 부품 제조 결함 탐색 시기와 원인을 판정하는 XAI 기반의 서비스이다. 이 서비스는 성형가공에서 불량품 발생을 예측한 AI의 판정 결과와 결함이 발생했을 때 그 요인이 되는 매개 변수를 실시간으로 시각화하는 것이 특징이다. 또 양품과 불량품의 데이터 비교 및 월·주·일 단위로 생산 데이터의 변화를 그래프로 확인할 수 있다. 일반적으로 AI를 활용하여 검사할 때 기존에는 문제가 일어난 것 같은 시기나 원인만을 보여주지만, 이 서비스에서는 XAI를 활용하여 AI가 어떤 문제에 주목하여 결과를 판단하였는지를 함께 설명한다. 이 서비스는 공장 관리자들에게 하자 발생의 이유를 전달해 공정의 문제점이나 인력 배치를 재검토해 업무를 효율성을 높이는 데 활용될 것으로 기대된다.