🔗 관련 문서: Wikipedia - Domain Adaptation

Domain Adaptation (도메인 적응)

Domain Adaptation은 소스 도메인(Source Domain)에서 학습된 모델이 타겟 도메인(Target Domain)에서도 높은 성능을 유지할 수 있도록 설계된 전이학습(Transfer Learning)의 한 형태이다.

두 도메인의 데이터 분포가 다르더라도, 특징을 정렬하거나 적대적 학습을 통해 성능 저하 없이 일반화를 달성하는 것이 목적이다.

(1) 정의와 핵심 개념

Domain Adaptation은 소스 도메인에서 충분한 라벨을 가지고 학습한 모델이, 라벨이 없거나 적은 타겟 도메인에서의 성능을 향상시키기 위한 방법론이다.

주된 문제는 도메인 시프트(domain shift)로, 소스와 타겟 간의 데이터 분포 차이를 어떻게 좁히느냐가 핵심 과제이다.

(2) 주요 방법론

1. Feature-based 정렬: 두 도메인의 특징 벡터 분포를 정렬 (예: MMD, CORAL)
2. Adversarial 학습: 도메인 분류기를 속이는 특성 학습 (예: DANN)
3. 공통 잠재 공간으로 사상하여 표현을 일치시킴
4. Self-supervised 방식으로 두 도메인을 동시에 재구성하며 공통 특징을 학습

(3) 활용 사례

• 자율주행: 시뮬레이션 환경에서 학습한 모델 → 실제 도로에 적용
• 의료영상: 한 병원의 X-ray → 다른 병원 데이터에 적용
• 음성인식: 깨끗한 녹음 → 노이즈 환경에서도 작동 가능하게
• OCR: 프린트된 글자 학습 → 손글씨 인식

(4) 장점과 한계

장점

• 레이블이 없는 환경에서도 높은 성능을 기대할 수 있다.
• 데이터 재사용성이 높아져 비용 절감에 효과적이다.
• 다양한 도메인 간 전이가 가능해 응용력이 높다.

한계

• 도메인 차이가 너무 크면 적응이 어려울 수 있다.
• 학습 안정성 확보가 어렵고 과적합 가능성 존재.
• 모델 해석성이 낮아 실제 적용이 까다로울 수 있다.

(5) 개념도

다음 그림은 Domain Adaptation의 개념 흐름을 시각적으로 설명한 예시이다.

(6) CDA(Contrastive DA) vs ADA(Adversarial DA)

Contrastive Domain Adaptation (대조 도메인 적응, CDA)과 Adversarial Domain Adaptation (적대적 도메인 적응, ADA)은 모두 레이블이 풍부한 소스 도메인(\( D_S \))에서 학습한 모델을 레이블이 부족한 타겟 도메인(\( D_T \))에 일반화시키기 위해 도메인 이동(Domain Shift) 문제를 해결하는 딥러닝 기법이다.

두 방법은 도메인 간의 특징 분포를 맞추는(Alignment) 방식에서 근본적인 차이를 보인다다.

1) Contrastive Domain Adaptation (CDA, 대조 도메인 적응)

CDA는 대조 학습(Contrastive Learning, CL) 기법을 사용하여 특징 공간(Feature Space)을 조정함으로써 도메인 적응을 수행한다.

📌 핵심 원리 및 작동 방식

• 핵심 원리:
  특징 공간에서 같은 클래스에 속하는 샘플들은 도메인에 상관없이 가깝게 만들고, 다른 클래스에 속하는 샘플들은 멀리 밀어내는 방식으로 특징 표현의 식별력(Discriminativeness)을 강화한다.
• 대조 손실(Contrastive Loss):
  긍정 쌍(Positive Pairs)과 부정 쌍(Negative Pairs)을 정의하고, 이 쌍들 간의 거리를 명시적으로 조절하는 대조 손실을 사용한다.
• 클래스 인식 정렬:
  주로 소스 레이블과 타겟의 가짜 레이블 (Pseudo-Labels) 정보를 활용하여, 도메인이 정렬되면서도 클래스별 클러스터 경계를 명확하게 유지한다.

👍 주요 장점

• 정확한 정렬:
  클래스 정보를 활용하여 식별력 있는 특징 표현을 학습한다.
• 클래스 혼합 방지:
  다른 클래스 샘플까지 섞이는 클래스 간 비정렬 위험을 줄인다.

2) Adversarial Domain Adaptation (ADA, 적대적 도메인 적응)

ADA는 적대적 학습(Adversarial Learning), 즉 GAN(Generative Adversarial Network)의 원리를 응용하여 도메인 적응을 수행한다.

📌 핵심 원리 및 작동 방식

• 핵심 원리:
  특징 추출기(\(G\))와 도메인 판별자(\(D\))라는 두 개의 신경망을 경쟁시킨다. 특징 추출기는 판별자가 구별하지 못하도록 도메인 불변 특징(Domain-Invariant Features)을 생성하도록 학습한다.
• 목표:
  두 도메인(\(D_S\)와 \(D_T\))의 전역적인 특징 분포(Global Feature Distribution)가 동일하게 보이도록 만든다.
• 구현:
  특징 추출기에 Gradient Reversal Layer (GRL)를 추가하는 방식으로 널리 구현된다 (예: DANN).

👎 주요 단점

• 클래스 혼합 위험:
  도메인 분포만 맞추고 클래스 정보를 무시할 경우, 특징 공간에서 다른 클래스에 속하는 샘플들이 섞여 식별력이 저하될 수 있다.

3) 핵심 비교 정리