미국에서 과장 봉지를 AI 경비 시스템이 총으로 오인해 경찰이 출동했다고 하는데 아직은 한계가 맞는가요?

Question

미국 한 고등학교에서 AI 경비 시스템이 해당 학교 소년이 들고 있는 과장 봉지를 빛과 모양으로 총으로 오인해 경비팀으로 전송했고 결국 경찰이 출동해 학생을 체포하는 사태가 벌어졌다고 합니다. 인공지능이 발전하더라도 아직 한계를 보이는게 맞는가요?

Answer 1

이런 사례는 인공지능 비전 시스템이 보여주는 인식 오류의 전형적인 한계로 볼 수 있습니다.

AI 경비 시스템은 객체 탐지를 위해 컴퓨터 비전과 딥러닝 기반 이미지 분류 모델을 사용하지만 여전히 맥락적 판단 능력이 부족합니다.

즉 형상이나 색채, 윤곽선 드으이 시각적 패턴은 인식해도 그것이 실제로 어떤 상황에서 사용되는 물체인지까지는 완벽히 이해하지 못합니다.

이런 한계는 AI의 데이터 의존성과 일반화 능력 부족에서 비롯됩니다.

학습 데이터에 유사한 패턴이 없거나 조명, 각도, 환경이 달라지면 모델은 확률적으로 잘못된 판단을 내일 수 있습니다.

인공지능이 고도화되었더라도 맥락 기반 판단을 결여한 단순 탐지형 알고리즘은 오판 가능성을 내재하고 있다는 점에서 기술적, 윤리적 보완이 필수라고 할 수 있습니다.

Answer 2

인공지능이 발전했어도 말씀하신 것과 같은 오인하거나 혹은 잘못된 정보를 사실인 거 처럼 말을 하는 등 아직 부족한 모습이 보이는 것은 사실입니다. 다만 점점 AI 기술이 발전하고 있고 그 속도도 빠르기 때문에 아마 그런 오인 사고도 점점 줄어들 거 같습니다.