Loss 함수와 성능의 관계
(1) Loss 함수란 무엇인가?
Loss 함수는 인공지능 모델이 예측한 출력값 \( \hat{y} \)와 실제 정답값 \( y \) 사이의 차이를 수치화하여 표현하는 함수이다. 이 함수는 학습의 기준이 되며, 모델은 손실값을 최소화하는 방향으로 가중치를 조정하여 학습을 수행한다. 문제 유형에 따라 다양한 Loss 함수가 사용되며, 대표적인 예시는 다음과 같다.
- 평균제곱오차 (Mean Squared Error, MSE): \[ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \]
- 교차 엔트로피 (Cross Entropy): \[ \text{CE} = - \sum_{i} y_i \log(\hat{y}_i) \]
(2) 성능에 영향을 미치는가?
Loss 함수는 모델의 성능에 직접적인 영향을 미친다. 동일한 모델 구조라 하더라도, 사용된 Loss 함수에 따라 학습이 이루어지는 방향과 결과가 달라진다. 예를 들어, 클래스 불균형 데이터에서는 단순한 교차 엔트로피보다 Focal Loss나 가중치 기반 손실 함수가 더 나은 성능을 보일 수 있다. 적절하지 않은 Loss 함수 선택은 학습의 불안정, 과적합, 혹은 낮은 일반화 성능을 초래할 수 있다.
(3) Loss 함수 유형과 특성 비교
| Loss 함수 | 적용 분야 | 특징 |
|---|---|---|
| MSE | 회귀 | 큰 오차에 민감 |
| MAE | 회귀 | 이상치에 덜 민감 |
| Cross Entropy | 이진/다중 분류 | 확률 기반 분류에 적합 |
| Focal Loss | 클래스 불균형 | 어려운 샘플에 가중치 부여 |