🔗 관련 문서: Wikipedia - Domain Adaptation

Domain Adaptation (도메인 적응)

1. 정의와 핵심 개념

Domain Adaptation은 소스 도메인(Source Domain)에서 학습된 모델이 타겟 도메인(Target Domain)에서도 높은 성능을 유지할 수 있도록 설계된 전이학습(Transfer Learning)의 한 형태이다.

두 도메인의 데이터 분포가 다르더라도, 특징을 정렬하거나 적대적 학습을 통해 성능 저하 없이 일반화를 달성하는 것이 목적이다.

Domain Adaptation은 소스 도메인에서 충분한 라벨을 가지고 학습한 모델이, 라벨이 없거나 적은 타겟 도메인에서의 성능을 향상시키기 위한 방법론이다.

주된 문제는 도메인 시프트(domain shift)로, 소스와 타겟 간의 데이터 분포 차이를 어떻게 좁히느냐가 핵심 과제이다.

2. 주요 방법론

1. Feature-based 정렬: 두 도메인의 특징 벡터 분포를 정렬 (예: MMD, CORAL)
2. Adversarial 학습: 도메인 분류기를 속이는 특성 학습 (예: DANN)
3. 공통 잠재 공간으로 사상하여 표현을 일치시킴
4. Self-supervised 방식으로 두 도메인을 동시에 재구성하며 공통 특징을 학습

3. 활용 사례

• 자율주행: 시뮬레이션 환경에서 학습한 모델 → 실제 도로에 적용
• 의료영상: 한 병원의 X-ray → 다른 병원 데이터에 적용
• 음성인식: 깨끗한 녹음 → 노이즈 환경에서도 작동 가능하게
• OCR: 프린트된 글자 학습 → 손글씨 인식

4. 장점과 한계

장점

• 레이블이 없는 환경에서도 높은 성능을 기대할 수 있다.
• 데이터 재사용성이 높아져 비용 절감에 효과적이다.
• 다양한 도메인 간 전이가 가능해 응용력이 높다.

한계

• 도메인 차이가 너무 크면 적응이 어려울 수 있다.
• 학습 안정성 확보가 어렵고 과적합 가능성 존재.
• 모델 해석성이 낮아 실제 적용이 까다로울 수 있다.

5. 개념도

다음 그림은 Domain Adaptation의 개념 흐름을 시각적으로 설명한 예시이다.

6. CDA(Contrastive DA) vs ADA(Adversarial DA)

Contrastive Domain Adaptation (대조 도메인 적응, CDA)과 Adversarial Domain Adaptation (적대적 도메인 적응, ADA)은 모두 레이블이 풍부한 소스 도메인(\( D_S \))에서 학습한 모델을 레이블이 부족한 타겟 도메인(\( D_T \))에 일반화시키기 위해 도메인 이동(Domain Shift) 문제를 해결하는 딥러닝 기법이다.

두 방법은 도메인 간의 특징 분포를 맞추는(Alignment) 방식에서 근본적인 차이를 보인다다.




1) Contrastive Domain Adaptation (CDA, 대조 도메인 적응)

CDA는 대조 학습(Contrastive Learning, CL) 기법을 사용하여 특징 공간(Feature Space)을 조정함으로써 도메인 적응을 수행한다.

📌 핵심 원리 및 작동 방식

• 핵심 원리:
  특징 공간에서 같은 클래스에 속하는 샘플들은 도메인에 상관없이 가깝게 만들고, 다른 클래스에 속하는 샘플들은 멀리 밀어내는 방식으로 특징 표현의 식별력(Discriminativeness)을 강화한다.
• 대조 손실(Contrastive Loss):
  긍정 쌍(Positive Pairs)과 부정 쌍(Negative Pairs)을 정의하고, 이 쌍들 간의 거리를 명시적으로 조절하는 대조 손실을 사용한다.
• 클래스 인식 정렬:
  주로 소스 레이블과 타겟의 가짜 레이블 (Pseudo-Labels) 정보를 활용하여, 도메인이 정렬되면서도 클래스별 클러스터 경계를 명확하게 유지한다.

👍 주요 장점

• 정확한 정렬:
  클래스 정보를 활용하여 식별력 있는 특징 표현을 학습한다.
• 클래스 혼합 방지:
  다른 클래스 샘플까지 섞이는 클래스 간 비정렬 위험을 줄인다.



2) Adversarial Domain Adaptation (ADA, 적대적 도메인 적응)

ADA는 적대적 학습(Adversarial Learning), 즉 GAN(Generative Adversarial Network)의 원리를 응용하여 도메인 적응을 수행한다.

📌 핵심 원리 및 작동 방식

• 핵심 원리:
  특징 추출기(\(G\))와 도메인 판별자(\(D\))라는 두 개의 신경망을 경쟁시킨다. 특징 추출기는 판별자가 구별하지 못하도록 도메인 불변 특징(Domain-Invariant Features)을 생성하도록 학습한다.
• 목표:
  두 도메인(\(D_S\)와 \(D_T\))의 전역적인 특징 분포(Global Feature Distribution)가 동일하게 보이도록 만든다.
• 구현:
  특징 추출기에 Gradient Reversal Layer (GRL)를 추가하는 방식으로 널리 구현된다 (예: DANN).

👎 주요 단점

• 클래스 혼합 위험:
  도메인 분포만 맞추고 클래스 정보를 무시할 경우, 특징 공간에서 다른 클래스에 속하는 샘플들이 섞여 식별력이 저하될 수 있다.



3) 핵심 비교 정리

구분	Contrastive Domain Adaptation (CDA)	Adversarial Domain Adaptation (ADA)
핵심 기법	대조 학습(Contrastive Learning)	적대적 학습(Adversarial Training)
메커니즘	특징 공간에서 클래스별 거리를 명시적으로 조절	도메인 판별자를 속여 도메인 불변 특징을 생성
주요 목표	식별력을 유지하면서 도메인 정렬	도메인 분포 자체의 유사성 최대화
주요 장점	클래스 정보 활용으로 정확한 정렬, 클러스터 경계 명확화	도메인 전체 분포를 맞추는 데 효과적, 구현 용이성

7. Positive Pair vs Negative Pair

대조 학습(Contrastive Learning)의 핵심 개념

7.1 기본 개념

(1) Positive Pair (양성 쌍)

같은 클래스 또는 유사한 특성을 가진 데이터 쌍

이 그림에서:

• Source data (FE 모델 생성 정상 데이터)
• Target data (실측 정상 데이터)
• 둘 다 정상 상태를 나타냄
• 도메인은 다르지만 같은 클래스(정상)에 속함

학습 목표:

• 두 데이터의 특징 표현을 가깝게 만듦
• "이 둘은 비슷하다"고 학습

(2) Negative Pair (음성 쌍)

다른 클래스 또는 상이한 특성을 가진 데이터 쌍

이 그림에서:

• Abnormal data (구조물 변화 발생)
• 정상 데이터와는 다른 클래스
• 비정상 상태를 나타냄

학습/추론 목표:

• 정상 데이터와 멀리 떨어지게 만듦
• "이것은 정상과 다르다"고 판별



7.2 Contrastive Learning 관점

핵심 원리

▸ Positive pair → 거리 최소화 (pull together)

▸ Negative pair → 거리 최대화 (push apart)

(1) 손실 함수 예시

# Positive pair
loss_positive = ||f(source) - f(target)||²  # 작을수록 좋음

# Negative pair
loss_negative = max(0, margin - ||f(normal) - f(abnormal)||²)  # 클수록 좋음
            

7.3 연구에서의 활용

(1) 프레임워크 적용

1. 학습 단계 (Phase 2 상단)

• Positive pair만 사용
• Source와 Target 정상 데이터로 특징 공간 학습
• 정상 데이터의 "중심"을 형성

2. 추론 단계 (Phase 2 하단)

• Negative pair 개념 활용
• 비정상 데이터가 정상 중심에서 얼마나 떨어졌는지 측정
• Threshold를 넘으면 이상으로 판정



7.4 핵심 차이 요약

구분	Positive Pair	Negative Pair
관계	같은 클래스	다른 클래스
예시	정상-정상	정상-비정상
목표	유사도 증가	유사도 감소
특징 공간	가깝게 배치	멀리 배치
학습 방향	Pull together (당기기)	Push apart (밀어내기)

💡 결론

이 프레임워크는 positive pair로 정상의 경계를 학습하고, negative pair(비정상)를 그 경계 밖에서 탐지하는 방식이다.

실제 비정상 데이터 없이도 정상 데이터만으로 이상 탐지가 가능한 효과적인 방법론이다.