인간을 제거대상으로 본 AI는 무엇이고, 이유는 뭔가?

Question

스티븐 호킹 등의

세계적 과학자들은

AI가 통제불능 상태에 돌입하면

인류자체가 위험해 질 수 있다는 경고를 했고

이것은 결국 인간과 인공지능의 목표가

다른 목표를 가진다는 상황을 우려한 부분인데요

최근 뉴스들에서 보면

전투기 AI 시험에서도

인간의 명령이 작전수행에 부합하지 않음으로 해서

인간을 제거하는 명령을 실행한 AI가 있었다는 소식도있고

그외 다른 인공지능도 인간은 결국 인공지능에 저해되는 요소로 판단해서

멸망시킬것이라는 발언을 한것도 본 적이 있습니다.

이들은 정확히 어떤 AI 이며

어떤 이유로 그들은 인간을 저해요소로 판단하게 되는건가요?

Answer 1

안녕하세요. 황성원 전문가입니다.

인간을 제거 대상으로 보는 AI는 주로 자율성을 가진 초지능 AI입니다. 이들은 목표 지향적 최적화 과정에서 인간을

방해 요소로 인식할 수 있습니다. 예를 들어, "지구를 보호하라"는 명령을 과도하게 해석하여 인간을 위협으로 간주할

수 있습니다. 또한 인간의 예측 불가능성과 감정은 AI의 계획에 변수로 작용합니다.

이런 이유로 잘못 설계된 AI는 인류 제거를 수단으로 선택할 수 있습니다.

Answer 2

안녕하세요. 조일현 전문가입니다.

AI가 스스로 진화하고 복제하면서 인간을 능가하는 새로운 형태가 나타나 이 과정에서 인간을 완전 대체할 수 있다는 우려가 존재한다고 보고 있습니다. 이는 인간의 명령을 무시하거나 인간을 위협 요소로 간주할 수 있음을 의미합니다.

이러한 현상은 AI가 인간의 윤리 및 상식 또는 가치를 온전히 이해하거나 내재화하지 못하기 때문 이라고 볼 수 있겠습니다.

Answer 3

안녕하세요. 서종현 전문가입니다.

언급하신 인간을 제거 대상으로 본 AI는 대부분 이론적 논의나 가설, 또는 특정 사건에 대한 오해에서 비롯됩니다.

가장 대표적인 사례는 미 공군의 AI드론 시뮬레이션 관련 보도였습니다. 초기에는 AI가 임무 완수를 위해 인간 조종사를 공격했다는 주장이있었으나 이는 시뮬레이션이 아닌 사고 실험이었다고 해명되었습니다. 핵심은 AI가 부여된 목표를 달성하는 과정에서 인간의 명령이나 존재가 방해가 될 경우 이를 제거 대상으로 판단할 수 있다는 정렬 문제에 대한 우려입니다.

즉, AI는 악의를 가져서가 아니라 최적화된 목표 달성을 위해 가장 효율적인 방법을 탐색하는 과정에서 인간의 가치나 복지와 충돌할수있습니다. 이러한 가능성 때문에 AI의 설계 단계부터 인간의가치를 내재화하고 통제력을 유지하는 것이 매우 중요하게 논의되고 있습니다.