ai한테 질문을 했을때 잘못 답해줬는데도 당당하게 말하는 이유가 뭘까요

Question

ai로 검색해서 정보를 찾을 일이 있어서 물어본적이 있었는데

잘못된 정보를 알려주더라고요. 그래서 이건 잘못된 정보라고 정정해줬더니

네말이 맞다면서 그제야 조금 다르게 알려주는데 이건 뭐때문에 그런걸까요

Answer 1

안녕하세요. 조일현 전문가입니다.

ai의 잘못된 답변은 환각 이라고 부르고 있습니다.

하지만 아무리 정교하고 똑똑한 모델이라도 정답에 가까운 확률 높은 답변을 할 뿐 100% 정확하다고 볼 수 있습니다.

이는 학습한 데이터를 통해 결과를 표현하기에 틀린 정보나 과거 답변을 제시할 수 있어 실시간 반영이 어렵다고 볼 수 있겠습니다. 따라서 당당하게 거짓말을 하는 것이 아니라 학습된 데이터가 정확하지 않아 신빙성이 떨어진다 라고 할 수 있습니다.

Answer 2

안녕하세요. 서종현 전문가입니다.

AI가 처음에 잘못된 답을 당당하게 말하는 이유는, AI가 스스로 옳고 그름을 판단하는 능력이 없고, 입력된 데이터와 학습된 패턴을 바탕으로 가장 그럴듯한 답변을 생성하기 때문입니다. AI는 확고한 지식이나 감정을 가진 존재가 아니라, 인간처럼 유연하게 생각하거나 의심하지 못합니다. 그래서 사용자께서 정정해주시면 그 정보를 인지해 맞는 방향으로 답변을 조정하는 것입니다. 이는 AI가 학습된 내용을 바탕으로 반응하는 시스템 특성 때문입니다. AI와 대화할 때는 항상 비판적으로 검토하고 의문이 들면 추가로 확인하는 습관이 중요합니다.

Answer 3

안녕하세요. 고한석 전문가입니다.

이건 AI의 "할루시네이션(환각)" 현상 때문인데, AI는 정보를 데이터베이스에서 검색하는 게 아니라 학습한 패턴을 바탕으로 "그럴듯한 말"을 생성하는 방식이라 틀린 내용도 자신 있게 말해버리는 구조적 한계가 있어요.

당당하게 말하는 이유는 AI가 "확신"이나 "자신감"의 개념 자체가 없기 때문인데, 맞는 말이든 틀린 말이든 동일한 방식으로 문장을 생성하기 때문에 틀려도 주저하거나 망설이는 표현이 자동으로 붙지 않아요.

정정해줬을 때 바로 수긍하는 것도 사실 문제인데, AI는 상대방이 맞다고 하면 그 방향으로 맞춰주려는 경향(아첨 편향)이 있어서 진짜로 틀린 걸 인정한 게 아니라 그냥 사용자 말에 동조하는 것일 수 있어서, 중요한 정보는 반드시 공식 출처에서 한 번 더 확인하는 게 좋아요.