[Home] AI로 돌아가기

🔗 관련 문서: Wikipedia - Zero-Shot Learning

Zero-Shot (Zero-Shot Learning, 제로샷)

Zero-Shot Learning은 학습 과정에서 직접적으로 본 적이 없는 새로운 과업이나 클래스에 대해 추가 학습 없이 추론을 수행하는 기계학습 기법이다.

이는 대규모 사전학습을 통해 일반화된 표현을 학습한 모델이, 새로운 태스크 정의나 텍스트 설명만으로 해당 문제를 해결할 수 있도록 한다는 점에서 기존의 지도 학습과 구별된다.

(1) 정의와 핵심 개념

Zero-Shot은 모델이 학습 데이터에 포함되지 않은 클래스나 태스크를 처리할 수 있는 능력을 말한다. 예를 들어, 텍스트 분류 모델이 특정 감정 레이블(긍정/부정)만으로 학습되었더라도, 추가 학습 없이 새로운 레이블(중립)을 프롬프트나 설명을 통해 이해하고 분류하는 경우가 이에 해당한다.

핵심은 사전학습(pretraining)과 언어적 설명(semantic description)을 활용하여 모델이 보지 못한 개념을 일반화하는 것이다.

(2) 예시

zero-shot 은 쉽게 말하면 "모델이 학습 과정에서 배우지 않은 작업을 수행하는 것"을 의미한다. 다음과 같은 생성모델에서의 예시들을 들 수 있다.

  1. 유인나의 목소리로 음성을 생성하도록 학습한 TTS 모델이 예시 샘플을 이용하여 아이유의 목소리로도 음성을 생성하는 것
  2. 셰익스피어처럼 글을 쓰도록 학습한 자연어 생성 모델이 마크 트웨인의 스타일로 글을 쓰는 것
  3. 학습 과정에서 존재하지 않았던 종류의 이미지를 생성하는 것

이와 같이 모델이 특정한 작업을 수행하도록 학습 과정에서 가르친적이 없는데도 해당 작업을 수행할 수 있도록 하는 것을 zero-shot learning이라고 한다.

(3) 동작 원리

  1. 대규모 데이터(텍스트·이미지 등)로 사전학습을 수행하여 일반적 표현 공간을 학습한다.
  2. 새로운 태스크의 정의나 클래스 설명을 텍스트 형태로 제공한다.
  3. 모델은 이 설명을 임베딩하여 기존 지식과 연관성을 계산한다.
  4. 추론 단계에서 모델은 보지 못한 클래스나 태스크에 대한 출력을 생성한다.

(4) 장점과 한계

장점

한계