Self-Supervised Learning(SSL)은 라벨이 없는 데이터를 기반으로 입력 자체에서 감독 신호(supervision signal)를 생성하여 학습하는 방법론이다. 주로 대규모 데이터셋에서 레이블링 없이 특징 표현(feature representation)을 학습할 수 있도록 설계된다.
1. 개념 및 정의
자기지도학습은 완전한 비지도학습은 아니며, 입력 데이터를 변형하거나 일부를 마스킹함으로써 의도적으로 예측할 과제(pretext task)를 만들어내고, 이를 통해 의미 있는 표현 학습을 이끌어낸다.
2. 예시 과제 (Pretext Tasks)
이미지 패치 재배열 (Jigsaw): 섞인 이미지 조각의 원래 순서 맞추기
부분 이미지 복원 (Inpainting): 마스킹된 영역 예측
순서 예측 (Sequence Order Prediction): 문장 또는 프레임의 올바른 순서 학습
대조 학습 (Contrastive Learning): 서로 다른 augmentations를 통해 유사/비유사 관계 학습
3. 장점과 활용 분야
장점:
라벨 없이 대규모 데이터로 학습 가능
사전학습(Pretraining)으로 downstream task 성능 향상
지도 학습 대비 레이블링 비용 절감
활용 분야:
자연어 처리 (ex. BERT)
컴퓨터 비전 (ex. SimCLR, MoCo, SimSiam)
음성 인식, 시계열 분석 등 다양한 도메인
4. 개념도
다음 그림은 대표적인 Self-Supervised 학습 구조 중 하나인 대조 학습(Contrastive Learning)을 시각화한 것이다.
