🔗 관련 문서: Wikipedia - Kullback–Leibler divergence

KLD (Kullback-Leibler Divergence)

KLD는 두 확률 분포 간의 차이를 측정하는 데 사용되는 정보 이론 기반의 수치로, AI 및 머신러닝에서 모델의 출력 분포가 참 분포와 얼마나 다른지를 정량적으로 나타낼 수 있다.

(1) 정의와 수식

Kullback-Leibler Divergence는 참 분포 \( P(x) \)와 모델 분포 \( Q(x) \) 사이의 정보 차이를 다음과 같이 정의한다:

\[ D_{KL}(P || Q) = \sum_x P(x) \log \left( \frac{P(x)}{Q(x)} \right) \]

연속 분포의 경우 다음과 같이 적분 형태로 표현된다:

\[ D_{KL}(P || Q) = \int P(x) \log \left( \frac{P(x)}{Q(x)} \right) dx \]

(2) 특징

• 비대칭성: \( D_{KL}(P||Q) \neq D_{KL}(Q||P) \)
• 0 이상의 값을 가지며, 분포가 동일할 경우 0이 됨
• 정보 손실 혹은 기대 로그 차이로 해석 가능

(3) 주요 활용 사례

• Variational Autoencoder (VAE)에서 잠재 분포 정규화
• 강화학습에서 정책 안정성을 위한 KL 페널티 사용 (예: PPO)
• 자연어 처리에서 문서 간 유사도 측정

(4) 직관적 해석

KL Divergence는 참 분포 \( P \)를 따르는 데이터를 모델 분포 \( Q \)로 설명할 때 발생하는 정보의 낭비 혹은 비효율성을 정량적으로 나타낸다. 즉, Q가 P를 얼마나 잘 근사하지 못하는지를 알려주는 지표이다.