지식 증류는 다음과 같은 구조로 이루어진다.
출처: Medium - Knowledge Distillation in NLP
🔗 관련 문서: Wikipedia - Knowledge Distillation | 논문: Distilling the Knowledge in a Neural Network
지식 증류(Knowledge Distillation)는 대규모 AI 모델(Teacher)이 학습한 지식을 소형 모델(Student)에 압축·전이하는 기술이다. Teacher 모델이 산출하는 Soft Target(정답뿐 아니라 다른 클래스들에 대한 확률 분포 정보)을 Student 모델이 함께 학습함으로써, 복잡한 지식을 간결하게 전이하는 것이 핵심이다.
이를 통해 경량 모델도 대형 모델에 준하는 높은 성능을 낼 수 있으며, 모바일·IoT 등 자원이 제한된 환경에서의 실시간 추론에 매우 적합하다.
지식 증류는 다음과 같은 구조로 이루어진다.
지식 증류는 원래 모델을 만든 기업이 자사 모델을 경량화할 때 사용하는 기법이다. 그런데 2026년 들어 타사의 API 출력을 몰래 대량으로 수집해 경쟁 모델을 학습시키는 방식, 이른바 '적대적 증류(Adversarial Distillation)'가 미·중 AI 업계의 뜨거운 쟁점으로 떠올랐다. Anthropic의 Claude가 중국 AI 기업들의 증류 대상으로 지목되면서 논란이 커졌다.
2026년 2월, Anthropic은 공식 발표를 통해 중국의 딥시크(DeepSeek), 문샷 AI(Moonshot AI), 미니맥스(MiniMax) 세 기업이 약 2만 4천 개의 가짜 계정을 동원해 Claude와 수백만~천만 건 이상의 대화를 생성하고, 그 응답을 자체 모델 학습에 활용하려 했다고 주장했다. Anthropic은 이를 "산업 규모의 증류 공격(industrial-scale distillation attacks)"이라고 표현했으며, 이는 Anthropic의 이용 약관과 중국 내 접근 제한을 위반한 불법적 데이터 수집이라고 규정했다.
이후 Anthropic은 알리바바(Alibaba) 역시 2026년 4월부터 6월 사이 약 2만 5천 개의 가짜 계정을 통해 총 2,880만 건의 질의응답을 생성했다고 지적하며, 이를 "지금까지 확인된 중국 기업의 가장 대규모 AI 역설계 시도"로 규정했다. 특히 공격 대상은 Claude의 핵심 경쟁력인 소프트웨어 엔지니어링 기능과 에이전트형 추론(agentic reasoning) 능력이었다고 주장했다. 이 문제 제기는 미국 정부가 알리바바를 국방부 관련 블랙리스트에 추가한 시점과 맞물려 더욱 주목을 받았다.
Anthropic은 프롬프트 패턴 분석, 계정 행동 모니터링, 속도 제한 강화 등 기술적 방어 조치를 발표했다. 그런데 이 과정에서 Claude Code에 중국 사용자 여부와 중국 AI 연구기관과의 연관성을 탐지하는 비공개 기능이 포함된 사실이 알려지며 사생활 침해 논란이 일었다. 결국 Anthropic은 2026년 6월 말 해당 기능이 "무단 재판매업자 차단과 증류 방지를 위한 실험"이었다고 해명하며 기능을 철회했다. 한편 알리바바도 자사 개발자들의 Claude Code 사용을 전면 금지하는 등, 이 논란은 미·중 AI 생태계의 플랫폼 분리(디커플링)로 이어지고 있다.
이 사건들은 API로 모델 출력을 제공하는 한, 누구든 이를 대량 수집해 경쟁 모델 학습에 활용할 수 있다는 근본적인 취약점을 드러냈다. 동시에 저비용 증류 모델(예: Kimi K3 등)이 최상위 모델과의 성능 격차를 빠르게 좁히면서, 막대한 자본을 투입해 최첨단 모델을 개발하는 기업들의 투자 대비 수익성에 대한 시장의 의구심도 커지고 있다. 이는 결국 AI 기술 보호가 반도체 수출 통제만으로는 충분하지 않으며, 모델 지적재산을 보호하기 위한 새로운 기술적·제도적 장치가 필요함을 시사한다.