Anomaly Detection (이상 탐지)

(1) 이상 탐지란?

이상 탐지 (Anomaly Detection)는 정상적인 패턴에서 벗어난 비정상적인 데이터나 행동을 식별하는 기술이다. 이는 금융 사기, 네트워크 보안, 센서 오작동 탐지 등 다양한 분야에서 필수적인 역할을 한다.

📌 Local Outlier Factor (LOF)

LOF(Local Outlier Factor)는 데이터의 국지적 밀도(local density)를 기준으로 이상 여부를 판별하는 알고리즘이다. 주변 데이터들에 비해 밀도가 낮은 포인트일수록 이상치일 가능성이 높다고 본다. 단순 거리 기반 방법과 달리, 데이터가 밀집된 지역과 희박한 지역을 구분할 수 있어, 복잡한 분포의 데이터셋에서 효과적이다.

(2) 이상의 유형

이상은 형태에 따라 다음과 같이 구분된다.

• 점 이상(Point anomaly): 단일 데이터 포인트가 다른 데이터들과 확연히 다른 경우
• 맥락 이상(Contextual anomaly): 특정 조건(예: 시간, 위치 등)에서는 비정상적인 경우
• 집합 이상(Collective anomaly): 여러 개의 데이터가 함께 있을 때만 비정상으로 간주되는 경우

(3) 탐지 방법

이상 탐지는 다양한 접근 방식으로 수행된다.

• 통계 기반: 평균, 분산, 확률 분포 등 통계적 기준 활용
• 기계학습 기반: 군집화(K-means), 분류(SVM, 의사결정트리), 밀도 추정 등
• 딥러닝 기반: Autoencoder, GAN, LSTM 등 비선형 구조 기반의 고차원 탐지

(4) 활용 분야

이상 탐지는 다음과 같은 실제 문제에 널리 활용된다.

• 금융: 신용카드 거래 사기 탐지
• 보안: 네트워크 침입 탐지(IDS)
• 의료: 심전도, 뇌파 등 생체신호의 이상 패턴 감지
• 제조 및 산업: 기계 고장 및 이상 진동 감지
• 웹 서비스: 비정상적인 사용자 트래픽 감지

(5) 한계와 과제

이상 탐지에서 가장 큰 어려움은 데이터 불균형과 이상 정의의 모호성이다. 대부분의 데이터는 정상이고, 이상은 희귀하게 존재하기 때문에 학습이 어렵다.

또한 실시간 탐지의 복잡성, 과적합 문제, 그리고 결과에 대한 설명 가능성(Explainability) 부족도 중요한 연구 과제로 남아 있다.

“모든 이상이 오류는 아니며, 모든 오류가 이상으로 탐지되지는 않는다.” — 데이터 과학 격언