분류(Classification) 문제는 주어진 데이터를 미리 정의된 범주(클래스) 중 하나로 분류하는 작업이다. 예를 들어 이메일을 스팸과 정상으로 분류하거나, 이미지 속 동물이 개인지 고양이인지 판별하는 것이 분류 문제에 해당한다.
2.1 정확도 (Accuracy)
정확도는 가장 직관적이고 기본적인 평가지표로, 전체 중 올바르게 예측한 비율을 나타낸다.
\[ \begin{aligned} \text{Accuracy} &= \frac{\color{purple}{\text{참 예측}}}{\color{purple}{\text{전체}}} \\ &= \frac{\color{purple}{\text{참 예측}}}{\color{purple}{\text{참 예측}} + \color{purple}{\text{거짓 예측}} } \\ &= \frac{\color{blue}{TP} + \color{red}{TN}}{(\color{blue}{TP} + \color{red}{TN}) + (\color{red}{FP} + \color{blue}{FN})} \end{aligned} \]
출처: Wikimedia Commons
예를 들어, 100개의 이메일 중 90개를 올바르게 분류했다면 정확도는 90%이다. 정확도는 이해하기 쉽고 계산이 간단하지만, 데이터가 불균형할 때 오해의 소지가 있다.
정확도의 한계:
만약 100개의 이메일 중 95개가 정상 메일이고 5개만 스팸인 상황에서, 모든 이메일을 "정상"으로 예측하는 모델은 95%의 정확도를 보인다. 하지만 이 모델은 스팸을 전혀 감지하지 못하므로 실용적이지 않다. 이처럼 클래스 불균형(Class Imbalance; 학습 데이터나 테스트 데이터 내에서 특정 클래스의 데이터 수가 다른 클래스에 비해 압도적으로 많거나 적은 상태) 상황에서는 정확도만으로 모델을 평가하기 어렵다.
2.2 혼동 행렬 (Confusion Matrix)
(1) Confusion Matrix란?
분류 모델의 예측 성능을 평가하는 데 사용되며, 모델이 얼마나 정확한 예측을 수행했는지 정량적으로 분석하는 데 활용된다.
(2) Confusion Matrix의 구성 요소
행은 실제 클래스, 열은 모델이 예측한 클래스를 나타낸다. 행렬의 대각 성분이 참된 예측을 한 경우를 나타낸다.
실제 \ 예측 |
예측 결과 | |
|---|---|---|
| 양성 (Positive) | 음성 (Negative) | |
| 양성 (Positive) | TP (True Positive) 참 양성 |
FN (False Negative) 거짓 음성 |
| 음성 (Negative) | FP (False Positive) 거짓 양성 |
TN (True Negative) 참 음성 |
출처: Wikimedia Commons
(3) 예제
아래는 Confusion Matrix의 예제 결과 시각화이다.
2.3 정밀도와 재현율
- 높은 TPR: 참 양성 사례를 거의 놓치지 않음 (민감도가 높음)
- 낮은 TPR: 모델이 많은 양성 사례를 놓칠 가능성이 높음
- 의료 진단: 질병 감지 시스템에서 환자를 양성으로 정확하게 판단하는 비율. 예를 들어 암 진단 시스템에서 참 암환자를 놓치지 않는 것이 매우 중요하다.
- 사기 탐지: 금융 거래에서 사기 사례를 정확히 검출하는 모델 성능 평가. 참 사기거래를 놓치면 큰 금전적 손실이 발생할 수 있다.
- 이상 탐지: 보안 시스템에서 비정상적인 활동을 감지하는 성능 측정. 참 보안위협을 탐지하지 못하면 시스템 전체가 위험에 노출될 수 있다.
- 정밀도를 높이려면:
확실한 경우에만 양성으로 예측 → 재현율 감소 (놓치는 양성 증가) - 재현율을 높이려면:
의심스러운 경우도 양성으로 예측 → 정밀도 감소 (거짓 양성 증가)
정밀도와 재현율은 특히 클래스 불균형이 있는 상황에서 모델의 성능을 더 정확하게 평가하기 위해 사용되는 지표이다.
(1) 정밀도 (Precision)
정밀도는 모델이 양성으로 예측한 것 중 참 양성인 비율을 나타낸다. "모델의 양성 예측이 얼마나 정확한가?"를 측정한다.
\[ \begin{aligned} \text{Precision} &= \frac{\color{blue}{\text{참 양성}}}{\color{purple}{\text{전체 양성}}} \\ &= \frac{\color{blue}{\text{참 양성}}}{\color{blue}{\text{참 양성}} + \color{red}{\text{거짓 양성}}} \\ &= \frac{\color{blue}{TP}}{\color{blue}{TP} + \color{red}{FP}} \\ \end{aligned} \]
출처: Wikimedia Commons
예시:
스팸 메일 필터가 10개의 이메일을 스팸으로 분류했는데, 실제로 그 중 8개만 스팸이고 2개는 정상 메일이었다면 정밀도는 80%이다.
정밀도가 중요한 경우는 거짓 양성(FP)의 비용이 클 때이다. 예를 들어 정상 메일을 스팸으로 잘못 분류하면 중요한 메일을 놓칠 수 있으므로, 스팸 필터는 높은 정밀도를 가져야 한다.
(2) 재현율 (Recall, 진양성률, 민감도, Sensitivity, TPR)
재현율은 참 양성 중 모델이 양성으로 올바르게 예측한 비율을 나타낸다. "참 양성을 얼마나 잘 찾아내는가?"를 측정한다. 이는 TPR(True Positive Rate) 또는 민감도(Sensitivity)라고도 불린다.
\[ \begin{aligned} \text{Recall} = \color{blue}{\text{TP}}\text{R} &= \frac{\color{blue}{\text{참 양성}}}{\color{purple}{\text{전체 양성}}} \\ &= \frac{\color{blue}{\text{참 양성}}}{\color{blue}{\text{참 양성}} + \color{red}{\text{거짓 음성}}} \\ &= \frac{\color{blue}{TP}}{\color{blue}{TP} + \color{red}{FN}} \\ \end{aligned} \]
출처: Wikimedia Commons
예시:
실제로 20개의 스팸 메일이 있었는데, 모델이 그 중 15개만 스팸으로 감지하고 5개는 놓쳤다면 재현율(TPR)은 75%이다.
TPR의 의미:
재현율(TPR)이 중요한 경우는 거짓 음성(FN)의 비용이 클 때이다. 예를 들어 암 진단에서 참 암환자를 놓치는 것은 매우 위험하므로, 진단 모델은 높은 재현율을 가져야 한다.
(3) 정밀도와 재현율의 Trade-off
일반적으로 정밀도와 재현율은 상충 관계(Trade-off)에 있다. 한쪽을 높이면 다른 쪽이 낮아지는 경향이 있다.
따라서 실제 응용에서는 문제의 특성과 비즈니스 요구사항에 따라 두 지표의 균형점을 찾아야 한다.
2.4 F1 Score
- 정밀도 = 80%, 재현율 = 80% → F1 = 80%
- 정밀도 = 100%, 재현율 = 50% → F1 = 67% (산술평균 75%보다 낮음)
- 정밀도 = 50%, 재현율 = 100% → F1 = 67% (산술평균 75%보다 낮음)
- β = 1: F1 Score (정밀도와 재현율을 동등하게 고려)
- β > 1 (예: β = 2): 재현율에 더 높은 가중치 부여
- β < 1 (예: β = 0.5): 정밀도에 더 높은 가중치 부여
(1) F1 Score
F1 Score는 정밀도와 재현율의 조화 평균(Harmonic Mean)으로, 두 지표를 하나로 결합한 평가지표이다.
\[ \text{F1 Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} = \frac{2TP}{2TP + FP + FN} \]
조화 평균을 사용하는 이유는 정밀도와 재현율 중 하나라도 낮으면 F1 Score도 낮아지기 때문이다. 즉, 두 지표가 모두 높아야 F1 Score가 높아진다.
예시:
F1 Score는 정밀도와 재현율의 균형이 중요한 경우에 유용하며, 특히 클래스 불균형 문제에서 단순 정확도보다 더 신뢰할 수 있는 지표이다.
(2) F-beta Score
F1 Score의 일반화된 형태로, 정밀도와 재현율 중 어느 쪽에 더 가중치를 둘지 조절할 수 있다.
\[ F_\beta = (1 + \beta^2) \times \frac{\text{Precision} \times \text{Recall}}{\beta^2 \times \text{Precision} + \text{Recall}} \]
2.5 ROC 곡선과 AUC
- AUC = 1.0: 완벽한 분류 모델 (모든 임계값에서 FPR = 0, TPR = 1)
- AUC = 0.5: 무작위 추측 수준 (대각선)
- AUC < 0.5: 무작위보다 못한 모델 (거의 나타나지 않음)
- 일반적으로 0.7~0.8 이상: 양호한 모델
- 0.9 이상: 매우 우수한 모델
- 임계값 독립적 : 특정 임계값 선택 없이 전반적인 성능 평가 가능.
- 불균형 데이터에서도 비교적 안정적인 평가 제공
- 단일 수치로 모델 성능을 직관적으로 비교 가능
- 모델 간 상대적 비교가 용이함
- 심한 클래스 불균형 상황에서는 PR-AUC(Precision-Recall AUC)가 더 적합할 수 있음
- AUC가 높아도 특정 임계값에서의 성능은 낮을 수 있음
- 비용이 다른 오분류(FP와 FN의 비용 차이)를 구분하지 못함
- 단일 수치이므로 모델의 세부적인 성능 특성을 파악하기 어려움
🔗 관련 문서: Wikipedia - ROC AUC
(1) ROC 곡선 (Receiver Operating Characteristic Curve)
ROC 곡선은 다양한 임계값(Threshold)에서 모델의 성능을 시각화한 그래프이다. 대부분의 분류 모델은 확률값을 출력하며, 이 확률이 특정 임계값을 넘으면 양성으로 분류한다.
ROC 곡선은 X축에 거짓 양성율(위양성률, FPR, False Positive Rate)을, Y축에 참 양성율(진양성률, TPR, True Positive Rate, 즉 재현율)을 나타낸다.
\[ \begin{aligned} \color{blue}{\text{TP}}\text{R (Recall, 재현율, 참 양성률, 진양성률)} &= \frac{\color{blue}{TP}}{\color{blue}{TP} + \color{blue}{FN}} \\ \color{red}{\text{FP}}\text{R (거짓 양성률, 위양성률)} &= \frac{\color{red}{FP}}{\color{red}{FP} + \color{red}{TN}} \end{aligned} \]
임계값을 낮추면 더 많은 샘플을 양성으로 예측하므로 TPR과 FPR이 모두 증가하고, 임계값을 높이면 둘 다 감소한다. ROC 곡선은 이러한 변화를 한눈에 보여준다.
임계값을변화시키면서, 모델이 맞힌 것(TPR)과 틀린 것(FPR)의 궤적을 그린 것이 ROC곡선이다.
(2) AUC (Area Under the Curve)
AUC는 ROC 곡선 아래의 면적을 나타내는 지표로, 0에서 1 사이의 값을 가진다.
다음은 ROC 곡선과 AUC를 시각적으로 나타낸 예시이다.
출처: https://medium.com/
(3) 장점과 한계
장점
한계
3. 회귀 문제의 평가지표
- 해석이 쉬움:
오차를 원래 단위 그대로 표현 (예: 가격 예측이면 원 단위) - 이상치에 덜 민감:
절댓값을 사용하므로 큰 오차의 영향이 제곱을 사용하는 MSE보다 작음 - 모든 오차를 동등하게 처리:
작은 오차나 큰 오차나 선형적으로 반영 - 큰 오차에 민감: 제곱을 사용하므로 큰 오차가 지표에 더 크게 반영됨
- 미분 가능: 수학적으로 다루기 용이하여 많은 최적화 알고리즘에서 손실 함수로 사용
- 단위 해석 어려움: 제곱 단위로 표현되어 직관적 해석이 어려움 (예: 원²)
- 해석 가능: 원래 단위로 표현되어 MAE처럼 직관적
- 큰 오차 강조: MSE의 특성을 유지하여 이상치를 중요하게 고려
- 광범위한 사용: 학계와 산업계에서 표준으로 사용
- R² = 1: 모델이 데이터를 완벽하게 설명 (예측값 = 실젯값)
- R² = 0: 모델이 평균값을 예측하는 것과 동일한 수준 (쓸모없는 모델)
- R² < 0: 모델이 평균값보다 못함 (거의 나타나지 않음)
- 일반적으로 0.7 이상: 양호한 모델로 간주
- 장점:
- 0~1 범위로 정규화되어 모델 간 비교가 쉬움
- 모델의 설명력을 직관적으로 이해 가능
- 단점:
- 변수를 추가하면 항상 증가하는 경향 (Adjusted R²로 보완)
- 비선형 관계에서는 해석에 주의 필요
회귀(Regression) 문제는 연속적인 수치 값을 예측하는 작업이다. 예를 들어 주택 가격 예측, 기온 예측, 주식 가격 예측 등이 회귀 문제에 해당한다. 회귀 문제의 평가지표는 예측값과 실젯값 사이의 차이(오차)를 측정한다.
3.1 MAE (Mean Absolute Error, 평균 절대 오차)
MAE는 예측값과 실젯값의 절대 오차의 평균이다. 가장 직관적인 회귀 평가지표이다.
\[ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| \]
여기서 \( y_i \)는 실젯값, \( \hat{y}_i \)는 예측값, \( n \)은 샘플 수
예시:
5개 집의 실제 가격과 예측 가격의 차이가 각각 100만원, 50만원, 200만원, 150만원, 100만원이라면,
$$
\begin{aligned}
MAE &= \frac{100+50+200+150+100}{5} \\
&= 120\color{red}{만원}
\end{aligned}
$$
이다.
MAE의 특징은 다음과 같다.
3.2 MSE (Mean Squared Error, 평균 제곱 오차)
MSE는 예측값과 실젯값의 제곱 오차의 평균이다.
\[ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \]
예시:
위와 같은 예에서
$$
\begin{aligned}
MSE &= \frac{100²+50²+200²+150²+100²}{5} \\
&= \frac{10000+2500+40000+22500+10000}{5} \\
&= 17000\color{red}{만원²}
\end{aligned}
$$
이다.
MSE의 특징은 다음과 같다.
MAE와 MSE 중 어느 것을 선택할지는 문제의 특성에 달려 있다. 이상치를 강하게 페널티하고 싶다면 MSE를, 모든 오차를 공평하게 평가하고 싶다면 MAE를 사용한다.
3.3 RMSE
RMSE (Root Mean Squared Error, 제곱근 평균 제곱 오차)
RMSE는 MSE의 제곱근을 취한 값으로, MSE의 단위 문제를 해결한다.
\[ \text{RMSE} = \sqrt{\text{MSE}} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2} \]
예시:
위의 예에서
$$
\begin{aligned}
RMSE &= \sqrt{17000} \\
&≈ 130.4\color{red}{만원}
\end{aligned}
$$
이다.
RMSE는 MSE와 동일하게 큰 오차에 민감하면서도, 원래 데이터와 같은 단위를 가져 해석이 용이하다. 따라서 실무에서 가장 많이 사용되는 회귀 평가지표 중 하나이다.
RMSE의 장점:
3.4 결정계수 (R², R-squared)
결정계수는 모델이 데이터의 분산을 얼마나 설명하는지를 나타내는 지표로, 0에서 1 사이의 값을 가진다.
$$ \begin{aligned} R^2 &= 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2} \\ &= \frac{\color{green}{\text{설명되는 변동}}} {\color{red}{\text{총 변동}}} \\ &= \frac{SS_{\color{green}{R}} \text{ (Sum of Squares} \color{green}{ \text{ Regression}})} {SS_{\color{red}{T}} \text{ (Sum of Squares} \color{red}{\text{ Total)}}} \\ &= 1 - \frac{SS_{\color{orange}{E}} \text{ (Sum of Squares} \color{orange}{ \text{ Residual Error}})} {SS_{\color{red}{T}} \text{ (Sum of Squares} \color{red}{\text{ Total)}}} \\ &= 1 - \frac{\color{orange}{\text{잔차 제곱합(SSE)}}} {\color{red}{\text{총 제곱합(SST)}}} \end{aligned} $$ 여기서 \( \bar{y} \)는 실젯값의 평균
(1) R²의 해석:
예를 들어, $R² = 0.85$라면 모델이 데이터 변동성의 85%를 설명한다는 의미이다.
(2) R²의 장단점:
(3) Adjusted R² (조정된 결정계수)
Adjusted R²는 모델의 변수 개수를 고려하여 R²를 조정한 지표이다. 불필요한 변수를 추가했을 때 페널티를 부여한다.
\[ R^2_{\text{adj}} = 1 - \frac{(1-R^2)(n-1)}{n-p-1} \]
여기서 \( n \)은 샘플 수, \( p \)는 변수(특성)의 개수
Adjusted R²는 모델 복잡도를 고려하므로 변수 선택이나 모델 비교에 더 적합하다.
4. 계산 효율성
- 실시간 응용: 자율주행차, 음성 인식 등은 수십 ms 이내의 응답 필요
- 배치 처리: 대량의 데이터를 한꺼번에 처리하는 경우 총 처리 시간이 중요
- 높은 처리량: 대규모 데이터 처리나 실시간 스트리밍에 유리
- 배치 크기: 여러 샘플을 한 번에 처리하면 처리량이 증가할 수 있음
- 경량 모델: 수백만 개 이하 (모바일, 엣지 디바이스)
- 대형 모델: 수십억~수조 개 (GPT, BERT 등 대형 언어 모델)
- GFLOPs: 10억(Giga) 단위의 연산
- TFLOPs: 1조(Tera) 단위의 연산
- 모델 크기: 저장 공간 및 로딩 시간에 영향
- 런타임 메모리: 추론 시 필요한 RAM 크기
- 배터리 수명: 모바일/엣지 디바이스의 사용 시간에 직접 영향
- 운영 비용: 데이터 센터의 전력 소비 및 냉각 비용
- 환경 영향: 탄소 배출량 감소를 위한 친환경 AI
모델의 예측 성능뿐만 아니라 계산 효율성도 중요한 평가 요소이다. 특히 실시간 시스템, 모바일 기기, 대규모 서비스에서는 속도와 자원 사용량이 핵심적이다.
4.1 시간 및 처리량 지표
(1) 추론 시간 (Inference Time)
추론 시간은 모델이 하나의 예측을 수행하는 데 걸리는 시간이다. 밀리초(ms) 단위로 측정되며, 낮을수록 좋다.
(2) 처리량 (Throughput)
처리량은 단위 시간당 처리할 수 있는 샘플 수이다. 일반적으로 초당 샘플 수(samples/sec) 또는 초당 프레임 수(FPS)로 측정된다.
(3) 지연시간 (Latency)
지연시간은 요청부터 응답까지의 전체 시간으로, 추론 시간뿐만 아니라 데이터 전처리, 네트워크 전송 등을 포함한다.
예시: 챗봇 서비스에서 사용자가 메시지를 보낸 후 답변을 받기까지의 시간
4.2 자원 사용량 지표
(1) 파라미터 수 (Number of Parameters)
모델의 학습 가능한 가중치의 총 개수이다. 파라미터 수가 많을수록 모델의 표현력은 증가하지만, 메모리 사용량과 학습 시간도 증가한다.
(2) FLOPS (Floating Point Operations Per Second)
FLOPS는 모델의 계산 복잡도를 나타내는 지표로, 모델이 예측을 수행하기 위해 필요한 부동소수점 연산의 수를 의미한다.
FLOPS가 낮을수록 계산이 빠르고 에너지 소비가 적다.
(3) 메모리 사용량 (Memory Footprint)
모델이 차지하는 메모리 크기이다. 모델 파라미터, 중간 계산 결과(activation), 그래디언트 등을 포함한다.
(4) 에너지 효율성 (Energy Efficiency)
모델이 소비하는 전력량을 측정한다. 특히 모바일 기기, IoT 디바이스, 대규모 데이터 센터에서 중요하다.
5. 특화 분야
- n-gram 정밀도: 1-gram(단어), 2-gram(단어 쌍), 3-gram, 4-gram의 일치도를 계산
- 0~1 범위: 1에 가까울수록 참조 번역과 유사
- 한계: 문법적 정확성이나 의미적 일치는 완전히 반영하지 못함
- ROUGE-N: n-gram 기반 재현율
- ROUGE-L: 최장 공통 부분 수열(LCS) 기반
- 응용: 문서 요약, 뉴스 생성 등
- IoU = 1: 완벽한 일치
- IoU = 0: 전혀 겹치지 않음
- 일반적으로 0.5 이상: 탐지 성공으로 간주
- AP (Average Precision): Precision-Recall 곡선 아래의 면적
- mAP: 모든 클래스의 AP를 평균
- mAP@0.5, mAP@0.75: 특정 IoU 임계값에서의 mAP
특정 분야에서는 해당 도메인의 특성에 맞는 전문 평가지표들이 사용된다.
5.1 자연어 처리(NLP) 평가지표
(1) BLEU (Bilingual Evaluation Understudy)
BLEU는 기계 번역의 품질을 평가하는 지표로, 번역된 문장이 사람이 번역한 참조 문장과 얼마나 유사한지를 측정한다.
(2) ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
ROUGE는 텍스트 요약의 품질을 평가하는 지표로, 생성된 요약이 참조 요약과 얼마나 겹치는지를 측정한다.
(3) Perplexity (혼란도)
Perplexity는 언어 모델이 텍스트를 얼마나 잘 예측하는지 측정하는 지표이다. 낮을수록 좋다.
\[ \text{Perplexity} = 2^{H(P)} \]
여기서 \( H(P) \)는 크로스 엔트로피
Perplexity가 낮다는 것은 모델이 다음 단어를 예측할 때 확신이 높다는 의미이다.
5.2 컴퓨터 비전(CV) 평가지표
(1) IoU (Intersection over Union)
IoU는 객체 탐지와 이미지 분할에서 사용되는 지표로, 예측된 영역과 실제 영역의 겹침 정도를 측정한다.
\[ \text{IoU} = \frac{\text{교집합 영역}}{\text{합집합 영역}} = \frac{\text{예측} \cap \text{실제}}{\text{예측} \cup \text{실제}} \]
출처: ResearchGate
(2) mAP (mean Average Precision)
mAP는 객체 탐지의 표준 평가지표로, 여러 클래스에 대한 Average Precision의 평균이다.
mAP는 객체 탐지 모델(YOLO, Faster R-CNN 등)의 성능을 비교할 때 가장 많이 사용된다.
(3) Dice Coefficient (주사위 계수)
Dice Coefficient는 의료 영상 분할에서 자주 사용되는 지표로, IoU와 유사하지만 교집합을 두 배로 가중한다.
\[ \text{Dice} = \frac{2 \times |\text{예측} \cap \text{실제}|}{|\text{예측}| + |\text{실제}|} \]
Dice Coefficient는 0~1 범위이며, 1에 가까울수록 좋다. IoU보다 작은 객체에 더 민감하게 반응한다.
6. 고급 평가 개념
- K개 중 K-1개로 학습, 나머지 1개로 검증
- 이 과정을 K번 반복 (각 fold가 한 번씩 검증 세트가 됨)
- K개의 평가 결과를 평균하여 최종 성능 산출
- 일반적으로 K=5 또는 K=10 사용
- 데이터 활용 극대화: 모든 데이터가 학습과 검증에 사용됨
- 과적합 감지: 모델의 일반화 능력을 더 정확히 평가
- 안정적인 평가: 데이터 분할에 따른 우연한 결과 방지
- 증상: 학습 데이터 성능은 높지만, 검증/테스트 데이터 성능은 낮음
- 원인: 모델이 너무 복잡하거나, 데이터가 부족하거나, 학습을 너무 오래 함
- 해결책: 정규화(Regularization), 드롭아웃(Dropout), 데이터 증강, 조기 종료(Early Stopping)
- 증상: 학습 데이터와 검증 데이터 모두에서 성능이 낮음
- 원인: 모델이 너무 단순하거나, 특성이 부족하거나, 학습이 불충분함
- 해결책: 모델 복잡도 증가, 특성 추가, 학습 시간 연장
- 측정: 학습 데이터 성능과 테스트 데이터 성능의 차이
- 목표: 두 성능의 차이를 최소화
- 편향: 모델이 정답에서 얼마나 벗어나 있는지 (과소적합과 관련)
- 분산: 모델이 데이터 변화에 얼마나 민감한지 (과적합과 관련)
- 트레이드오프: 편향을 줄이면 분산이 증가하고, 분산을 줄이면 편향이 증가하는 경향
- 목표: 편향과 분산의 균형점을 찾아 총 오차를 최소화
6.1 교차 검증 (Cross-Validation)
교차 검증은 제한된 데이터로 모델을 더 신뢰성 있게 평가하기 위한 기법이다. 데이터를 여러 부분으로 나누어 반복적으로 학습과 검증을 수행한다.
(1) K-Fold 교차 검증
가장 일반적인 교차 검증 방법으로, 데이터를 K개의 부분(fold)으로 나눈다.
출처: scikit-learn
(2) Stratified K-Fold
클래스 불균형 문제에서 사용되는 변형으로, 각 fold에서 클래스 비율을 유지한다.
(3) Leave-One-Out (LOO)
데이터가 매우 적을 때 사용하며, 샘플 수만큼 검증을 수행한다 (K=N). 계산 비용이 높지만 모든 데이터를 활용한다.
교차 검증의 장점:
6.2 과적합과 일반화
(1) 과적합 (Overfitting)
과적합은 모델이 학습 데이터에만 지나치게 최적화되어 새로운 데이터에 대한 성능이 떨어지는 현상이다.
(2) 과소적합 (Underfitting)
과소적합은 모델이 너무 단순하여 학습 데이터조차 제대로 학습하지 못하는 현상이다.
(3) 일반화 (Generalization)
일반화는 모델이 학습 중에 보지 못한 새로운 데이터에 대해서도 좋은 성능을 보이는 능력이다. 좋은 모델은 일반화 능력이 높다.
출처: Medium
(3) 편향-분산 트레이드오프 (Bias-Variance Tradeoff)
모델의 오차는 편향(Bias)과 분산(Variance)으로 분해할 수 있다.
7. 평가지표 선택 시 고려사항
- 클래스 균형: 균형 데이터는 Accuracy, 불균형 데이터는 Precision/Recall/F1/AUC 사용
- 이상치: 이상치가 많으면 MAE, 적으면 MSE/RMSE 고려
- 데이터 크기: 적은 데이터는 교차 검증 필수
- FN 비용이 큼: Recall 우선 (예: 질병 진단, 사기 탐지)
- FP 비용이 큼: Precision 우선 (예: 스팸 필터, 법적 판단)
- 비용이 비슷함: F1 Score 또는 Accuracy 사용
- 실시간 시스템: 추론 시간과 지연시간이 중요
- 엣지 디바이스: 모델 크기, 메모리, 에너지 효율 고려
- 클라우드 서버: 처리량과 확장성 중요
- 배터리 기기: 전력 소비 최소화 필요
- 주 지표(Primary Metric): 가장 중요한 목표를 나타내는 지표
- 부 지표(Secondary Metrics): 추가로 고려해야 할 지표들
- 제약 조건: 반드시 만족해야 하는 최소 요구사항 (예: 추론 시간 < 100ms)
적절한 평가지표를 선택하는 것은 모델 개발에서 매우 중요하다. 다음 사항들을 고려해야 한다.
(1) 문제의 종류
| 문제 유형 | 주요 평가지표 |
|---|---|
| 이진 분류 | Accuracy, Precision, Recall, F1, AUC-ROC |
| 다중 클래스 분류 | Accuracy, Macro/Micro F1, Confusion Matrix |
| 회귀 | MAE, MSE, RMSE, R² |
| 객체 탐지 | mAP, IoU |
| 기계 번역 | BLEU |
| 텍스트 요약 | ROUGE |
(2) 데이터 특성
(3) 비즈니스 목표
실제 응용에서는 비즈니스 목표에 따라 중요한 지표가 달라진다.
| 응용 사례 | 중요 지표 | 이유 |
|---|---|---|
| 암 진단 | Recall (재현율) | 암 환자를 놓치는 것(FN)이 매우 위험 |
| 스팸 필터 | Precision (정밀도) | 정상 메일을 스팸으로 분류(FP)하면 중요 메일 손실 |
| 자율주행 | Recall + 추론 시간 | 보행자/장애물을 놓치면 안 되고 실시간 처리 필요 |
| 추천 시스템 | Precision@K | 상위 K개 추천의 정확도가 중요 |
| 모바일 앱 | F1 + 추론 시간 + 모델 크기 | 성능과 효율성의 균형이 중요 |
(4) 오류 비용
거짓 양성(FP)과 거짓 음성(FN)의 비용이 다를 때 이를 고려해야 한다.
(5) 모델 배포 환경
모델이 사용될 환경의 제약을 고려해야 한다.
(6) 복수 지표의 종합 평가
실무에서는 단일 지표만으로 평가하기 어려운 경우가 많다. 여러 지표를 종합적으로 고려하여 모델을 선택하고 최적화해야 한다.
"측정할 수 없으면 개선할 수 없다"는 말처럼, 적절한 평가지표는 모델 개발의 방향을 결정한다. 따라서 프로젝트 초기에 명확한 평가 기준을 설정하고, 이를 바탕으로 모델을 개발하고 개선해야 한다. 평가지표는 단순히 모델의 성능을 측정하는 도구를 넘어, 비즈니스 목표와 실제 응용 환경을 고려한 의사결정의 기준이 된다.