Hallucination - 할루시네이션/환각/조작/착각

Hallucination(할루시네이션)은 AI 모델이 사실과 다른 정보를 생성하거나, 존재하지 않는 내용을 만들어내는 현상을 의미한다. 이는 생성형 AI 모델(예: ChatGPT, GPT-4 등)에서 흔히 발생하는 문제 중 하나이다.

(1) 할루시네이션의 원인

• 확률 기반 모델: AI는 확률적으로 다음 단어를 예측하므로 실제 존재하지 않는 정보를 생성할 가능성이 있음.
• 훈련 데이터의 한계: AI는 훈련된 데이터 내에서만 학습하며, 오류가 포함된 데이터도 학습할 가능성이 있음.
• 컨텍스트 부족: 프롬프트가 모호하거나 불완전할 경우, AI는 불확실성을 채우려는 경향이 있음.
• 창의적 응답: 온도(Temperature) 값이 높을 경우, AI는 더 창의적인 답변을 생성하여 허구적인 내용을 포함할 가능성이 있음.

(2) 할루시네이션의 예시

AI가 실제 존재하지 않는 정보를 생성하는 사례:

• "현재 대한민국 대통령은 누구인가요?" → (잘못된 과거 정보 제공)
• "이 주제에 대해 논문을 추천해 주세요." → (존재하지 않는 논문 생성)
• "GPT-4의 출시 연도를 알려주세요." → (출시 전 정확한 정보가 없을 경우 잘못된 연도 제공)

(3) AI 연구자들의 관점

AI 연구자들은 처음에는 할루시네이션을 '버그(bug)'로 간주했으나, 이후에는 이를 '특징(feature)'으로 받아들이기 시작했다.

"LLM(대형 언어 모델)은 100% 꿈을 꾸고 있으며, 환각 문제가 있다.
검색엔진은 꿈이 0%이고, 창의성 문제가 있다."
— 안드레이 카파시(Andrej Karpathy, 전 OpenAI 연구원)