AI 챗봇이 환각을 일으킨다는데, 정확히 어떤 현상이고 왜 그런 건가요?

Question

요즘 AI 챗봇들이 환각을 일으킨다는 얘기를 많이 듣는데, 실제로 제가 써보니까 가끔 없는 내용을 지어내거나 잘못된 정보를 말하더라구요. 심지어 자기가 틀렸다는 걸 지적해도 계속 고집하는 경우도 있고요.

AI가 환각을 일으킨다는게 무슨 뜻인가요? 사람처럼 실제로 뭔가를 '상상'하는 건가요? 아니면 단순히 학습 데이터에서 잘못된 정보를 가져오는 걸까요? 이런 문제를 해결하기 위해서는 어떤 기술이 필요한거죠?

Answer 1

AI 환각은 챗봇이 현실에 근거하지 않은 콘텐츠를 생성할 때 발생합니다. 이는 역사적 사건의 날짜를 잘못 파악하는 것과 같은 사실적 오류만큼 간단할 수도 있고 전체 이야기나 의학적 권장 사항을 조작하는 것과 같이 더 복잡한 것일 수도 있습니다. 인간의 환각은 외부 자극이 없는 감각적 경험이며 종종 심리적 또는 신경학적 요인으로 인해 발생하는 반면, AI 환각은 모델의 잘못된 해석이나 훈련 데이터의 과도한 일반화에서 비롯됩니다. 예를 들어, AI가 공룡에 관한 많은 텍스트를 읽었다면 존재한 적이 없는 새로운 가상의 공룡 종을 잘못 생성할 수 있습니다.