4) Generative NN (생성 신경망)
[YouTube]

생성 신경망 개요

생성 신경망(Generative Neural Networks)은 기존 데이터의 패턴을 학습하여 새로운 데이터를 생성하는 인공지능 모델이다. 이는 기존의 판별 모델(Discriminative Model)이 주어진 데이터를 분류하거나 예측하는 것과는 근본적으로 다른 접근 방식이다.

• 판별 모델 vs 생성 모델

- 판별 모델(Discriminative Model):
입력 데이터 X가 주어졌을 때 출력 Y의 확률 P(Y|X)를 학습한다. 예를 들어, 고양이 사진이 주어졌을 때 "이것은 고양이다"라고 판별하는 것이다.

- 생성 모델(Generative Model):
데이터의 전체 확률 분포 P(X)를 학습하여 새로운 데이터를 생성한다. 예를 들어, 고양이의 특징을 학습하여 실제로는 존재하지 않는 새로운 고양이 이미지를 만들어내는 것이다.

• 생성 모델의 주요 목표

생성 모델은 다음과 같은 목표를 가지고 설계된다:

1) 고품질 샘플 생성:
실제 데이터와 구별하기 어려운 고품질의 새로운 데이터를 생성

2) 다양성 확보:
한 가지 패턴만 반복하지 않고 다양한 변형을 생성

3) 제어 가능성:
사용자가 원하는 특징을 가진 데이터를 생성할 수 있도록 제어

4) 잠재 표현 학습:
데이터의 본질적인 특징을 압축된 형태로 표현

생성 모델은 이미지, 텍스트, 음성, 비디오 등 다양한 형태의 데이터를 생성할 수 있으며, 최근에는 예술 창작, 의료 영상 생성, 신약 개발, 게임 콘텐츠 제작 등 광범위한 분야에서 활용되고 있다.

a) GAN (생성적 적대 신경망; Generative Adversarial Network)

• GAN의 작동 원리

GAN은 두 개의 신경망 모델이 서로 경쟁하면서 더 나은 결과를 만들어 내는 강화학습이다. 특히 이미지 생성 분야에서 뛰어난 성능을 보이고 있다. 화가 반 고흐의 화풍을 모방하여 새로운 그림을 그리는 등 놀라운 결과물들을 보여주고 있는데, 특히 2018년에는 GAN이 생성한 그림이 크리스티 미술품 경매에서 43만 달러에 낙찰되기도 했다.

그렇다면 GAN은 어떤 방식으로 학습할까? GAN은 기존의 인공신경망과는 다르게 두 개의 인공신경망이 서로 경쟁하며 학습을 진행한다. 이를 판별 모델과 생성 모델이라고 하며, 각각은 서로 다른 목적을 가지고 학습한다.

- 판별 모델(Discriminator Model):
진짜 데이터와 가짜 데이터 중 어떤 것이 진짜 데이터인지를 판별한다.

- 생성 모델(Generative Model):
주어진 데이터와 최대한 유사한 가짜 데이터를 생성한다.

GAN의 동작 방식은 위조지폐범 판별 문제로 쉽게 이해할 수 있다. 위조지폐범은 판별 모델을 속이기 위한 진짜 같은 위조지폐를 만들고, 판별 모델은 위조지폐범이 만든 위조지폐를 찾아내기 위해 서로 경쟁적으로 학습을 한다. 이 과정을 통해 두 모델의 성능은 꾸준히 향상된다.

• GAN의 학습 과정

• 1단계:
생성자는 무작위 노이즈(잠재 벡터 z)로부터 가짜 이미지를 생성한다.

• 2단계:
판별자는 진짜 이미지와 생성된 가짜 이미지를 받아서 각각이 진짜일 확률을 출력한다.

• 3단계:
판별자는 진짜 이미지를 진짜로, 가짜 이미지를 가짜로 정확히 분류하도록 학습한다.

• 4단계:
생성자는 판별자를 속이기 위해, 즉 판별자가 가짜 이미지를 진짜로 판단하도록 학습한다.

• 5단계:
이 과정을 반복하면서 생성자는 점점 더 진짜 같은 이미지를 만들고, 판별자는 점점 더 정교하게 구별하는 능력을 갖추게 된다.

이상적인 상황에서는 생성자가 완벽하게 진짜 같은 이미지를 만들어내어 판별자가 진짜와 가짜를 50%의 확률로만 구분할 수 있게 된다. 이를 내쉬 균형(Nash Equilibrium)이라고 한다.

• GAN의 수학적 원리

GAN의 학습은 수학적으로 미니맥스(Minimax) 게임으로 표현된다. 생성자 G와 판별자 D는 다음과 같은 목적 함수를 최적화한다:

GAN의 목적 함수:
\[ \min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))] \] 여기서:
- \( x \): 실제 데이터
- \( z \): 잠재 공간의 무작위 노이즈 벡터
- \( G(z) \): 생성자가 z로부터 생성한 가짜 데이터
- \( D(x) \): 판별자가 x를 진짜로 판별할 확률
- \( p_{data}(x) \): 실제 데이터 분포
- \( p_z(z) \): 잠재 벡터의 사전 분포 (보통 정규분포 또는 균등분포)

1) 수식의 의미 해석

• 판별자의 목표 (maximize V)

- 첫 번째 항 \(\mathbb{E}_{x \sim p_{data}(x)}[\log D(x)]\):
실제 데이터 x에 대해 D(x)를 최대화 (진짜를 진짜로 판별)

- 두 번째 항 \(\mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]\):
생성된 데이터 G(z)에 대해 1-D(G(z))를 최대화 (가짜를 가짜로 판별)

판별자 \(D\)는 \(V\)를 최대화하려고 하므로, 진짜와 가짜를 정확히 구분하려고 한다.

• 생성자의 목표 (minimize V)

- 생성자는 두 번째 항을 최소화하려고 한다.

- \(\log(1 - D(G(z)))\)를 최소화한다는 것은 D(G(z))를 최대화한다는 의미이다.

- 즉, 판별자가 생성된 이미지를 진짜로 판별하도록 만든다.

2) 예시로 이해하기

• 판별자 입장:
"이건 진짜야!"라고 확신하고 싶음.
다음과 같이 학습한다.
   진짜에 대해 D(x) → 1
   가짜에 대해 D(G(z)) → 0

• 생성자 입장:
"내가 만든 것도 진짜처럼 보여야 해!"
다음과 같이 학습한다.
   𝐷(𝐺(𝑧))→1

이 둘이 반복적으로 경쟁하면서, 생성자는 점점 더 정교한 가짜를 만들고, 판별자는 점점 더 정교하게 구분하려고 합니다.

3) 실제 학습에서의 개선

실제로는 생성자 학습 시 \(\log(1 - D(G(z)))\)를 최소화하는 대신 \(\log D(G(z))\)를 최대화한다. 이는 학습 초기에 생성자의 그래디언트가 소실되는 문제를 해결하기 위함이다.

개선된 생성자 손실:
\[ \max_G \mathbb{E}_{z \sim p_z(z)}[\log D(G(z))] \]

• GAN의 발전

2014년 Ian Goodfellow가 처음 제안한 이후 GAN은 다양한 변형이 개발되었다. 각 변형은 원본 GAN의 한계를 극복하거나 특정 작업에 최적화되어 있다.

1) DCGAN (Deep Convolutional GAN, 2015)
- 합성곱 신경망(CNN) 구조를 GAN에 도입한 최초의 성공적인 모델
- 완전 연결 계층 대신 합성곱 계층과 전치 합성곱(Transposed Convolution) 사용
- Batch Normalization을 사용하여 학습 안정성 향상
- 생성자에서 ReLU, 판별자에서 LeakyReLU 활성화 함수 사용
- 고해상도 이미지 생성이 가능해짐

2) CGAN (Conditional GAN, 2014)
- 조건(condition)을 추가하여 원하는 특징을 가진 데이터 생성
- 예: 특정 숫자를 생성하거나, 특정 레이블을 가진 이미지 생성
- 생성자와 판별자 모두에 조건 정보를 입력으로 제공
- 목적 함수: \(\min_G \max_D V(D,G) = \mathbb{E}_{x}[\log D(x|y)] + \mathbb{E}_{z}[\log(1-D(G(z|y)))]\)

3) Pix2Pix (2016)
- 이미지-투-이미지 변환(Image-to-Image Translation)을 수행하는 조건부 GAN
- 스케치를 사진으로, 흑백 사진을 컬러로, 낮 풍경을 밤 풍경으로 변환 가능
- U-Net 구조의 생성자와 PatchGAN 판별자 사용
- L1 손실과 GAN 손실을 함께 사용하여 이미지 품질 향상

4) CycleGAN (2017)
- 짝지어진 데이터 없이도 이미지 스타일 변환 가능
- 예: 말을 얼룩말로, 여름 풍경을 겨울 풍경으로 변환
- 순환 일관성 손실(Cycle Consistency Loss)을 도입
- A → B → A 변환 후 원본과 유사해야 한다는 제약 조건
- 두 개의 생성자와 두 개의 판별자를 사용

5) StyleGAN (2018) 및 StyleGAN2 (2019)
- NVIDIA에서 개발한 고품질 얼굴 이미지 생성 모델
- 스타일 기반 생성자 구조로 이미지의 다양한 특징을 세밀하게 제어
- Adaptive Instance Normalization (AdaIN)을 사용하여 스타일 정보 주입
- 1024×1024 해상도의 사실적인 얼굴 이미지 생성 가능
- StyleGAN2에서는 artifact 문제 개선 및 품질 향상
- ThisPersonDoesNotExist.com 같은 서비스의 기반 기술

6) Progressive GAN (2017)
- 저해상도에서 시작하여 점진적으로 해상도를 높이는 방식
- 학습 안정성과 생성 품질을 동시에 개선
- 최종적으로 1024×1024 고해상도 이미지 생성 가능
- StyleGAN의 기반이 되는 기술

7) BigGAN (2018)
- 대규모 데이터셋(ImageNet)으로 학습된 고해상도 이미지 생성 모델
- 클래스 조건부 생성으로 특정 카테고리의 이미지 생성
- Truncation trick을 사용하여 품질과 다양성 조절
- 512×512 해상도의 다양한 객체 이미지 생성

• GAN의 한계와 도전과제

GAN은 강력한 생성 모델이지만 여러 가지 한계와 도전과제를 안고 있다.

1) Mode Collapse (모드 붕괴)
Mode Collapse는 GAN의 가장 심각한 문제 중 하나로, 생성자가 데이터의 다양성을 무시하고, 판별자를 속일 수 있는 하나 또는 몇 가지 패턴만 반복적으로 생성하는 현상이다.
예를 들어, 숫자 이미지를 생성하는 GAN이 0부터 9까지 다양한 숫자를 생성해야 하는데, 판별자를 잘 속이는 '7'이라는 숫자만 계속 생성하는 경우이다.
• 원인:
- 생성자가 실제 데이터 분포 전체를 학습하지 못하고 일부만 학습
- 판별자의 취약점을 찾아 그 부분만 집중적으로 공략
- 생성자와 판별자 간의 불균형한 학습
• 해결 방법:
- Unrolled GAN: 여러 단계 앞을 내다보며 학습
- Minibatch Discrimination: 생성된 샘플들 간의 다양성을 명시적으로 측정
- Feature Matching: 판별자의 중간 특징을 매칭하도록 학습

2) 학습 불안정성
GAN은 두 개의 신경망이 동시에 학습하면서 서로 경쟁하기 때문에 학습이 매우 불안정한다.
•문제점:
- 하이퍼파라미터에 매우 민감함
- 학습률, 배치 크기 등의 조절이 어려움
- 학습 과정에서 갑자기 성능이 저하되는 경우 발생
- Gradient Vanishing 또는 Exploding 문제
•해결 방법:
- Spectral Normalization: 판별자의 가중치를 정규화
- Wasserstein GAN (WGAN): 손실 함수를 Earth Mover's Distance로 변경
- Two Time-scale Update Rule (TTUR): 생성자와 판별자에 다른 학습률 적용
- Batch Normalization, Layer Normalization 사용

3) 평가 지표의 부재
생성된 이미지의 품질을 객관적으로 평가하기 어렵다.
• 평가 방법:
- Inception Score (IS): 생성된 이미지의 품질과 다양성을 측정
- Fréchet Inception Distance (FID): 생성된 이미지와 실제 이미지의 분포 차이 측정 (낮을수록 좋음)
- Human Evaluation: 사람이 직접 평가 (주관적이지만 가장 신뢰도 높음)

4) 학습 데이터 요구량
고품질의 결과를 얻기 위해서는 대량의 학습 데이터가 필요한다.

- StyleGAN은 수만 장의 고품질 얼굴 이미지로 학습
- 특정 도메인에서는 충분한 데이터 확보가 어려움
• 해결 방법:
- Transfer Learning: 사전 학습된 모델을 활용
- Data Augmentation: 데이터 증강 기법 활용
- Few-shot Learning: 적은 데이터로도 학습 가능한 기법

5) 계산 비용
고해상도 이미지 생성이나 대규모 모델 학습에는 막대한 계산 자원이 필요한다.

- StyleGAN2 학습에는 수백 시간의 GPU 시간 필요
- 일반 사용자가 처음부터 학습하기 어려움

• GAN의 응용

GAN은 다양한 분야에서 혁신적인 응용 사례를 만들어내고 있다.

1) 이미지 생성 및 편집
- 얼굴 생성: 실제 존재하지 않는 사람의 사실적인 얼굴 생성 (ThisPersonDoesNotExist.com)
- 나이 변환: 젊은 얼굴을 노년으로, 또는 그 반대로 변환
- 얼굴 속성 편집: 머리 색깔, 표정, 성별 등을 자유롭게 변경
- 초해상화: 저해상도 이미지를 고해상도로 변환

2) 스타일 변환
- 예술 작품 생성: 특정 화가의 화풍을 모방한 새로운 그림 생성
- 사진 스타일 변환: 사진을 유화, 수채화, 만화 스타일 등으로 변환
- 계절 변환: 여름 풍경을 겨울로, 낮을 밤으로 변환

3) 의료 영상
- 의료 영상 합성: 부족한 의료 영상 데이터를 생성하여 학습 데이터 증강
- 영상 복원: 노이즈가 있는 의료 영상을 깨끗하게 복원
- MRI/CT 변환: MRI 영상을 CT 영상으로 또는 그 반대로 변환
- 질병 진단 보조: 정상 영상과 비정상 영상의 차이를 학습하여 질병 탐지

4) 패션 및 디자인
- 가상 의류 착용: 옷을 입지 않고도 착용 모습을 확인
- 디자인 생성: 새로운 의류, 신발, 액세서리 디자인 자동 생성
- 제품 디자인: 가구, 인테리어 등의 디자인 제안

5) 엔터테인먼트
- 게임 콘텐츠 생성: 게임 맵, 캐릭터, 텍스처 자동 생성
- 영화 특수효과: 얼굴 대체, 나이 변환, 배경 합성
- Deepfake: 영상 속 인물의 얼굴을 다른 사람으로 대체 (윤리적 문제 존재)

6) 데이터 증강
- 학습 데이터 부족 해결: 소량의 데이터로부터 다양한 변형 생성
- 이상 탐지: 정상 데이터를 학습하여 이상 데이터 감지

• GAN의 윤리적 고려사항

GAN의 발전과 함께 윤리적 문제도 대두되고 있다:

- Deepfake 악용: 허위 정보 생성, 사생활 침해, 명예 훼손
- 저작권 문제: 학습 데이터의 저작권 및 생성물의 소유권
- 편향성: 학습 데이터의 편향이 생성 결과에 반영
- 악의적 사용: 가짜 신분증, 가짜 뉴스 생성 등

이러한 문제들을 해결하기 위해 Deepfake 탐지 기술, 워터마킹, 법적 규제 등이 연구되고 있다.

b) VAE (변분 오토인코더; Variational Autoencoder)

• VAE의 작동 원리

VAE는 GAN과는 다른 접근 방식으로 데이터를 생성하는 생성 모델이다. VAE는 오토인코더(Autoencoder)의 변형으로, 데이터를 압축했다가 복원하는 과정에서 데이터의 잠재적 표현(latent representation)을 학습한다.

1) 오토인코더의 기본 개념
일반적인 오토인코더는 다음과 같이 구성된다:
- 인코더(Encoder): 입력 데이터 x를 저차원의 잠재 벡터 z로 압축
- 디코더(Decoder): 잠재 벡터 z로부터 원본 데이터 x를 복원

목표는 입력과 출력이 최대한 같아지도록 학습하는 것이다. 이 과정에서 데이터의 중요한 특징이 잠재 벡터 z에 압축되어 저장된다.

2) VAE의 핵심 아이디어
일반 오토인코더는 각 입력에 대해 하나의 고정된 잠재 벡터를 생성한다. 반면 VAE는 잠재 공간에서 확률 분포를 학습한다.

- 인코더는 입력 x를 받아 평균(μ)과 분산(σ²)을 출력한다.
- 이 평균과 분산으로 정규분포 \(N(μ, σ²)\)를 정의한다.
- 이 분포에서 샘플링한 z를 디코더에 입력하여 데이터를 복원한다.
- 새로운 데이터를 생성할 때는 학습된 잠재 공간에서 임의의 점을 샘플링하여 디코더에 입력한다.

3) VAE가 GAN보다 나은 점
- 학습 안정성: GAN처럼 두 네트워크가 경쟁하지 않아 학습이 더 안정적
- 잠재 공간의 의미: 잠재 공간이 연속적이고 보간(interpolation)이 자연스러움
- 명확한 손실 함수: 수학적으로 잘 정의된 손실 함수 (ELBO)
- Mode Collapse 없음: 모든 데이터 모드를 커버하려고 시도

4) VAE의 한계
- 흐릿한 생성 이미지: GAN에 비해 생성된 이미지가 흐릿한 경향
- 복원 손실과 정규화의 trade-off: 두 목표 사이의 균형 맞추기 어려움

• VAE의 수학적 배경

VAE는 변분 추론(Variational Inference)을 기반으로 한다. 목표는 데이터의 사후 확률 분포 \(p(z|x)\)를 근사하는 것이다.

VAE의 목적 함수 (ELBO):
\[ \mathcal{L}(\theta, \phi; x) = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z)) \] 여기서:
- \( q_\phi(z|x) \): 인코더가 근사하는 사후 분포
   (평균 μ, 분산 σ²의 정규분포)
- \( p_\theta(x|z) \): 디코더가 모델링하는 조건부 분포
- \( p(z) \): 잠재 변수의 사전 분포 (보통 N(0, I))
- \( D_{KL} \): Kullback-Leibler Divergence (두 분포 간의 차이)
- \( \phi \): 인코더의 파라미터
- \( \theta \): 디코더의 파라미터

1) 손실 함수의 두 가지 항

• 복원 손실 (Reconstruction Loss)

\[\mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)]\] - 디코더가 잠재 벡터로부터 원본 데이터를 얼마나 잘 복원하는지 측정
- 실제로는 MSE (Mean Squared Error) 또는 Binary Cross-Entropy로 계산
- 이 항을 최대화하면 복원이 잘 됨

• KL Divergence (정규화 항)

\[D_{KL}(q_\phi(z|x) \| p(z))\] - 학습된 사후 분포가 사전 분포에 얼마나 가까운지 측정
- 잠재 공간이 표준 정규분포를 따르도록 강제
- 이 항을 최소화하면 잠재 공간이 연속적이고 구조화됨
- 새로운 샘플을 생성할 때 \(N(0, I)\)에서 샘플링 가능

2) Reparameterization Trick

확률적 샘플링 과정을 미분 가능하게 만들기 위한 기법: \[ z = \mu + \sigma \odot \varepsilon, \quad \varepsilon \sim N(0, I) \] 여기서 ⊙는 원소별 곱셈(element-wise multiplication)이다.
이렇게 하면 역전파가 가능해져서 인코더를 학습할 수 있다.

• VAE의 응용

1) 이미지 생성
- MNIST, CIFAR-10 등의 데이터셋에서 새로운 이미지 생성
- GAN보다 다양성은 좋지만 선명도는 다소 떨어짐

2) 이미지 보간 (Interpolation)
- 두 이미지의 잠재 벡터를 선형 보간하여 자연스러운 중간 이미지 생성
- 예: 웃는 얼굴과 찡그린 얼굴 사이의 중간 표정들

3) 이상 탐지 (Anomaly Detection)
- 정상 데이터로 VAE를 학습
- 복원 오차가 큰 샘플을 이상치로 판단
- 제조업 불량품 검사, 금융 사기 탐지 등에 활용

4) 데이터 압축
- 고차원 데이터를 저차원 잠재 공간으로 압축
- 차원 축소 기법으로 활용 (PCA의 비선형 대안)

5) 준지도 학습 (Semi-supervised Learning)
- 레이블이 있는 데이터와 없는 데이터를 함께 활용
- 레이블을 잠재 변수의 일부로 모델링

6) 분자 설계 (Drug Discovery)
- 분자 구조를 잠재 공간에 인코딩
- 원하는 특성을 가진 새로운 분자 생성
- 신약 개발에 활용

c) Diffusion Model (디퓨전 모델)

2015년 솔 딕스타인(Sohl-Dickstein)연구진이 비평형 열역학과 관련지어 처음 그 개념을 제시하였지만 한동안은 GAN이나 VAE에 밀려 큰 주목을 받지 못했다. 반전의 계기가 된 것은 2020년 구글 브레인의 조너선 호(Jonathan Ho)연구진이 발표한 DDPM이다. DDPM이 전에 없던 뛰어난 이미지 생성 성능을 보여주면서 확산 모델은 폭발적인 관심을 받기 시작했다. 이후 샘플링 속도 개선, 조건부 생성 등 다양한 방향으로 빠르게 발전하며 생성형 모델 분야의 주류 기술 중 하나로 자리매김했다.

• Diffusion Model의 작동 원리

이미지 생성의 새로운 지평을 연 디퓨전 모델

디퓨전 모델은 GAN과는 전혀 다른 방식으로 이미지를 생성한다. GAN이 2개의 인공지능이 서로 경쟁하면서 더 정교한 이미지를 만들어 내는 방식이라면, 디퓨전 모델은 처음부터 이미지를 흐릿하게 만들었다가 다시 원래의 형태로 복원하는 방식이다.

비유를 통해 이 방식을 살펴보자. 유리잔에 잉크 한 방울을 떨어뜨리면 어떻게 될까? 처음에는 잉크가 한곳에 모여 있어 색이 진하지만, 시간이 지나면서 점점 물에 퍼져 흐려진다. 결국 잉크는 물 전체로 확산되어 어디가 원래 잉크였는지 구별할 수 없게 된다.

디퓨전 모델도 이와 같은 방식으로 동작한다. 처음에는 분명한 형태를 가진 이미지가 있다. 그런데 이 이미지에 점차 노이즈(잡음)를 추가하면서 데이터를 흐릿하게 만든다. 마지막에는 온통 랜덤한 잡음만 남게 된다.

이제 이미지를 선명하게 만드는 과정, 즉 다시 원래의 잉크 방울을 복원하는 과정을 살펴보자. 실제 현실에서는 원래의 잉크 방울을 복원하기가 쉽지 않다. 하지만 디퓨전 모델은 이러한 과정을 논리적으로 수행하기 때문에 가능하다. 노이즈만 남은 상태에서 조금씩 잡음을 제거하면서 원래의 이미지를 복원하는 방법을 학습하는 것이다. 마치 망칠된 그림을 지우개로 하나씩 지워 가면서 원래의 선을 찾아내는 것과 비슷하다. 이 과정을 수천수만 번 반복하다 보면 처음에는 무작위한 노이즈에서 시작했지만 점차 윤곽이 드러나고, 결국에는 완전히 새로운 이미지를 생성할 수 있다.

• Forward Process와 Reverse Process

디퓨전 모델은 크게 두 가지 과정으로 구성된다:

1) Forward Process (순방향 과정, 확산 과정)

원본 이미지 x₀에 점진적으로 가우시안 노이즈를 추가하여 완전한 노이즈 xT로 만드는 과정이다.

- 시간 단계 t=0에서 시작 (원본 이미지 x₀)
- 각 시간 단계마다 작은 노이즈를 추가
- t=T가 되면 거의 순수한 가우시안 노이즈가 됨
- 이 과정은 고정된 마르코프 체인으로, 학습할 파라미터가 없음

수학적 표현:
Forward Process:
\[ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I) \] \[ q(x_{1:T} | x_0) = \prod_{t=1}^{T} q(x_t | x_{t-1}) \] 여기서:
- \( \beta_t \): 시간 t에서의 노이즈 스케줄 (작은 양수)
- \( x_t \): 시간 t에서의 노이즈가 추가된 이미지
- \( I \): 단위 행렬
중요한 성질:
특정 시간 t의 이미지 xₜ를 원본 x₀로부터 직접 계산할 수 있다:
\[ x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon \] 여기서 \( \epsilon \sim \mathcal{N}(0, I) \)이고,
\( \alpha_t = 1 - \beta_t \), \( \bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s \)

2) Reverse Process (역방향 과정, 복원 과정)

노이즈 xT로부터 원본 이미지 x₀를 복원하는 과정이다. 이 과정은 학습해야 한다.

- 시간 단계 t=T에서 시작 (순수 노이즈)
- 각 시간 단계마다 노이즈를 조금씩 제거
- t=0가 되면 선명한 이미지가 생성됨
- 신경망 모델이 각 단계에서 제거할 노이즈를 예측

수학적 표현:
Reverse Process:
\[ p_\theta(x_{t-1} | x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t)) \] \[ p_\theta(x_{0:T}) = p(x_T) \prod_{t=1}^{T} p_\theta(x_{t-1} | x_t) \] 여기서:
- \( \theta \): 신경망의 파라미터
- \( \mu_\theta(x_t, t) \): 신경망이 예측하는 평균
- \( \Sigma_\theta(x_t, t) \): 신경망이 예측하는 공분산 (보통 고정값 사용)
학습 목표:
실제로는 노이즈 자체를 예측하도록 학습한다:
간소화된 손실 함수:
\[ L_{simple} = \mathbb{E}_{t, x_0, \epsilon} \left[ \| \epsilon - \epsilon_\theta(x_t, t) \|^2 \right] \] 여기서:
- \( \epsilon \): 실제 추가된 노이즈
- \( \epsilon_\theta(x_t, t) \): 신경망이 예측한 노이즈
- t는 1부터 T까지 균일하게 샘플링
생성 과정:
1) 표준 정규분포에서 xT ~ N(0, I)를 샘플링
2) t=T부터 1까지 역순으로:
   - 신경망으로 노이즈 ε̂ 예측
   - 예측된 노이즈를 제거하여 x_{t-1} 계산
   - (t>1일 때) 약간의 랜덤 노이즈 추가 (stochasticity 유지)
3) 최종적으로 x₀ 얻음

• 주요 Diffusion 알고리즘

1) DDPM (Denoising Diffusion Probabilistic Models, 2020)
- 디퓨전 모델의 기초를 확립한 모델
- 1000단계의 노이즈 제거 과정 사용
- 고품질 이미지 생성 가능하지만 생성 속도가 느림
- 각 단계마다 신경망을 실행해야 하므로 시간이 오래 걸림

2) DDIM (Denoising Diffusion Implicit Models, 2020)
- DDPM의 빠른 샘플링 버전
- 비마르코프 과정으로 확장
- 단계 수를 줄여도 품질 유지 (예: 50단계만으로도 가능)
- Deterministic한 생성도 가능 (같은 시드에서 같은 결과)
- 이미지 보간에 유리

3) Score-based Models
- 데이터 분포의 스코어(∇log p(x))를 학습
- Langevin dynamics를 사용한 샘플링
- 연속 시간 확산 과정으로 확장 가능
- 이론적으로 더 잘 정립됨

4) Latent Diffusion Models (LDM)
- 픽셀 공간 대신 잠재 공간에서 디퓨전 수행
- VAE의 인코더로 이미지를 저차원 잠재 공간으로 압축
- 잠재 공간에서 디퓨전 모델 적용
- VAE의 디코더로 최종 이미지 복원
- 메모리와 계산 비용을 크게 줄임
- Stable Diffusion의 기반 기술

5) Classifier-Free Guidance
- 텍스트 조건을 더 강하게 반영하는 기법
- 조건부와 무조건부 예측을 모두 수행
- 두 예측의 차이를 증폭하여 최종 예측 생성
- 생성 품질과 텍스트 일치도를 크게 향상
- 대부분의 텍스트-이미지 모델이 사용
Classifier-Free Guidance:
\[ \tilde{\epsilon}_\theta(x_t, c) = \epsilon_\theta(x_t, \emptyset) + s \cdot (\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset)) \] 여기서:
- c: 조건 (예: 텍스트)
- ∅: 조건 없음 (null)
- s: 가이던스 스케일 (보통 7.5 사용, 클수록 텍스트에 충실하지만 다양성 감소)

• Diffusion Model의 응용

1) 텍스트-이미지 생성 (Text-to-Image)
- DALL-E 2 (OpenAI, 2022): 텍스트 설명으로 창의적인 이미지 생성
- Midjourney: 예술적이고 아름다운 이미지 생성에 특화
- Stable Diffusion (Stability AI, 2022): 오픈소스 모델로 누구나 사용 가능
- Imagen (Google, 2022): 높은 텍스트 이해도와 포토리얼리스틱 이미지

예시 프롬프트:
  "A cat astronaut floating in space, digital art, 4k"
  "An oil painting of a sunset over mountains in Van Gogh style"

2) 이미지 편집
- Inpainting: 이미지의 일부를 선택하여 새로운 내용으로 채우기
  예: 사진에서 사람을 지우고 배경으로 채우기
- Outpainting: 이미지의 경계를 확장하여 새로운 영역 생성
  예: 작은 그림의 주변을 확장하여 더 큰 장면 만들기
- 이미지 변형 (Image Variation): 한 이미지를 기반으로 유사한 변형들 생성
- 스타일 변환: 이미지의 스타일만 변경 (예: 사진을 애니메이션 스타일로)

3) 초해상화 (Super-Resolution)
- 저해상도 이미지를 고해상도로 변환
- 흐릿한 이미지를 선명하게 복원
- 의료 영상, 위성 사진, 오래된 사진 복원 등에 활용

4) 이미지-투-이미지 변환 (Image-to-Image)
- 스케치를 사실적인 이미지로 변환
- 흑백 사진을 컬러로 변환
- ControlNet: 포즈, 깊이 맵, 엣지 등을 조건으로 사용
- Depth-to-Image: 깊이 정보를 기반으로 이미지 생성

5) 비디오 생성
- Runway Gen-2: 텍스트로 비디오 생성
- Stable Video Diffusion: 이미지를 비디오로 확장
- Animate Diff: 정지 이미지에 움직임 추가
- 프레임 간 일관성 유지가 주요 과제

6) 3D 생성
- DreamFusion: 텍스트로 3D 모델 생성
- Point-E, Shap-E (OpenAI): 3D 포인트 클라우드 및 메시 생성
- NeRF와 결합하여 다양한 시점의 이미지 생성

7) 오디오 생성
- 음악 생성 (Riffusion, AudioLDM)
- 음성 합성
- 소리 효과 생성

8) 의료 영상
- MRI, CT 스캔 이미지 노이즈 제거
- 부족한 의료 데이터 생성 (데이터 증강)
- 다른 모달리티로 변환 (MRI → CT)

9) 과학 연구
- 단백질 구조 예측
- 신약 분자 설계
- 재료 과학에서 새로운 물질 구조 생성

• 디퓨전 모델 체험하기

생성 AI(예: 챗지피티, 클로드, 제미나이 등)의 디퓨전(diffusion) 모델에 텍스트를 입력하면 AI가 그림을 생성해 준다. 예를 들어 다음과 같은 문장을 입력하면 그에 맞는 이미지를 만들어 준다.

"우주를 떠다니는 고양이"
"햇살이 비치는 숲속의 오두막"
"고흐 스타일로 그린 도시 야경"

프롬프트 작성 팁
더 좋은 이미지를 생성하기 위한 프롬프트 작성 방법:

1) 구체적인 묘사: 색상, 분위기, 스타일을 명확히 지정
  나쁜 예: "강아지"
  좋은 예: "눈 내리는 공원에서 뛰어노는 골든 리트리버, 따뜻한 저녁 햇살, 시네마틱 조명"

2) 스타일 지정: 원하는 예술 스타일이나 화가 언급
  예: "in the style of Van Gogh", "digital art", "watercolor painting", "photorealistic"

3) 품질 키워드 추가: 고품질 이미지를 원한다면
  예: "highly detailed", "4k", "8k", "professional photography", "trending on artstation"

4) 구도와 시점: 카메라 각도나 구도 지정
  예: "wide angle shot", "close-up portrait", "bird's eye view", "cinematic composition"

5) 조명: 빛의 방향과 분위기 묘사
  예: "golden hour lighting", "studio lighting", "dramatic shadows", "soft natural light"

d) 생성 모델 비교 및 평가

• 생성 모델 평가 지표

생성 모델의 성능을 평가하는 것은 분류나 회귀 문제와 달리 정답이 없기 때문에 어렵다. 다음과 같은 정량적, 정성적 평가 방법들이 사용된다.

1) Inception Score (IS)
- 생성된 이미지를 사전 학습된 Inception 네트워크에 통과시켜 평가
- 두 가지를 동시에 측정:
  (a) 각 이미지가 명확한 객체를 포함하는가? (낮은 엔트로피)
  (b) 다양한 클래스의 이미지를 생성하는가? (높은 엔트로피)
- 점수가 높을수록 좋음
- 한계: 텍스처나 구조적 품질은 평가하지 못함
Inception Score:
\[ IS = \exp\left(\mathbb{E}_{x} D_{KL}(p(y|x) \| p(y))\right) \]
여기서 p(y|x)는 생성 이미지의 조건부 레이블 분포, p(y)는 전체 레이블 분포

2) Fréchet Inception Distance (FID)
- 가장 널리 사용되는 평가 지표
- 실제 이미지와 생성 이미지의 특징 분포 간 거리를 측정
- Inception 네트워크의 중간 층 특징을 사용
- 점수가 낮을수록 좋음 (0에 가까울수록 실제와 유사)
- IS보다 인간의 평가와 더 잘 일치함
FID Score:
\[ FID = \|\mu_r - \mu_g\|^2 + \text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r \Sigma_g)^{1/2}) \]
여기서 (μᵣ, Σᵣ)는 실제 이미지의 특징 평균과 공분산,
(μ_g, Σ_g)는 생성 이미지의 특징 평균과 공분산

3) Precision과 Recall
- Precision: 생성된 샘플이 실제 데이터와 얼마나 유사한가? (품질)
- Recall: 실제 데이터의 다양성을 얼마나 커버하는가? (다양성)
- 두 지표의 균형이 중요
- Mode Collapse가 발생하면 Recall이 낮아짐

4) Human Evaluation (인간 평가)
- 사람이 직접 이미지를 보고 평가
- A/B 테스트: 두 이미지 중 어느 것이 더 좋은지 선택
- Likert Scale: 1~5점 척도로 품질 평가
- 가장 신뢰할 수 있지만 비용과 시간이 많이 듦
- 주관적일 수 있으나 최종 목표는 인간 만족도

5) CLIP Score
- 텍스트-이미지 생성 모델의 평가에 사용
- 생성된 이미지가 입력 텍스트와 얼마나 일치하는지 측정
- CLIP 모델의 텍스트-이미지 유사도를 계산
- 점수가 높을수록 텍스트 설명과 잘 일치함

• 생성 모델 선택 가이드

1) GAN을 선택해야 하는 경우
- 빠른 추론 속도가 필요한 실시간 애플리케이션
- 제한된 컴퓨팅 자원 (모바일, 엣지 디바이스)
- 잠재 공간에서의 부드러운 보간이 중요한 경우
- 비디오 생성이나 실시간 필터 같은 응용
- 얼굴 생성, 스타일 변환 등 특정 도메인에 특화된 작업

2) VAE를 선택해야 하는 경우
- 안정적인 학습이 중요한 경우
- 데이터 압축이나 차원 축소가 목적
- 이상 탐지나 준지도 학습
- 잠재 공간의 해석 가능성이 중요한 경우
- 다양성이 품질보다 중요한 경우

3) Diffusion Model을 선택해야 하는 경우
- 최고 품질의 이미지 생성이 필요한 경우
- 텍스트 조건부 생성 (Text-to-Image)
- 다양한 조건을 활용한 생성 (ControlNet 등)
- 이미지 편집 (Inpainting, Outpainting)
- 추론 시간이 문제되지 않는 오프라인 생성
- 학습 안정성이 중요한 경우
- 의료 영상, 과학 연구 등 높은 신뢰도가 필요한 분야

생성 모델 종합 비교

특성	GAN	VAE	Diffusion
생성 품질	⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐⭐
생성 다양성	⭐⭐⭐ (Mode Collapse 위험)	⭐⭐⭐⭐	⭐⭐⭐⭐⭐
학습 안정성	⭐⭐ (어려움)	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐
생성 속도	⭐⭐⭐⭐⭐ (매우 빠름)	⭐⭐⭐⭐⭐ (매우 빠름)	⭐⭐ (느림, 개선 중)
조건부 생성	⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐⭐ (매우 뛰어남)
계산 비용	중간	낮음	높음
해석 가능성	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐
대표 모델	StyleGAN, CycleGAN	β-VAE, VQ-VAE	DALL-E 2, Stable Diffusion

• 생성 AI의 미래

생성 AI 기술은 빠르게 발전하고 있으며, 다음과 같은 방향으로 진화하고 있다:

1) 멀티모달 생성
- 텍스트, 이미지, 오디오, 비디오를 동시에 생성
- 한 모달리티에서 다른 모달리티로 자유롭게 변환
- 예: 텍스트 스크립트 → 내레이션 + 배경음악 + 영상 자동 생성

2) 개인화 및 커스터마이징
- DreamBooth, Textual Inversion 등으로 개인 맞춤형 모델
- 소량의 개인 사진으로 특정 스타일이나 대상 학습
- 예: 자신의 얼굴로 다양한 상황의 이미지 생성

3) 3D 및 4D 생성
- 2D 이미지를 넘어 3D 모델 생성
- 시간 축을 포함한 4D 생성 (움직이는 3D 객체)
- 메타버스, 게임, VR/AR 콘텐츠 제작

4) 효율성 개선
- 생성 속도 향상 (Latent Consistency Models, Turbo 모델 등)
- 모델 경량화로 모바일 디바이스에서도 실행 가능
- 적은 컴퓨팅 자원으로도 고품질 생성

5) 정교한 제어
- ControlNet, T2I-Adapter 등으로 더 세밀한 제어
- 포즈, 깊이, 엣지 등 다양한 조건 활용
- 전문가 수준의 정밀한 편집 가능

6) 윤리적 AI 생성
- Deepfake 탐지 기술 발전
- 생성 이미지 워터마킹 및 추적
- 편향 제거 및 공정성 확보
- 저작권 존중 및 출처 표시

7) 과학 및 산업 응용 확대
- 신약 개발: 새로운 분자 구조 설계
- 재료 과학: 원하는 특성을 가진 신소재 발견
- 건축 설계: 자동 도면 및 3D 모델 생성
- 교육: 맞춤형 학습 자료 자동 생성

결론

생성 신경망은 인공지능의 창의성을 보여주는 대표적인 기술이다. GAN의 적대적 학습, VAE의 확률적 잠재 공간, Diffusion Model의 점진적 복원 등 각기 다른 접근 방식으로 놀라운 결과를 만들어내고 있다.

특히 Diffusion Model은 최근 텍스트-이미지 생성 분야에서 혁명을 일으키며 DALL-E 2, Midjourney, Stable Diffusion 등 대중적인 서비스로 확산되고 있다. 이러한 기술들은 예술, 디자인, 엔터테인먼트뿐만 아니라 의료, 과학 연구, 교육 등 다양한 분야에서 인간의 창의성을 확장하고 생산성을 높이는 데 기여하고 있다.

동시에 Deepfake, 저작권, 편향성 등의 윤리적 문제도 중요하게 다뤄져야 하며, 기술의 발전과 함께 책임감 있는 사용 방안도 모색되어야 할 것이다.