안녕하세요. 서종현 전문가입니다.
온디바이스AI는 기기 내부에서 AI연산과 처리르 수행하는 기술로, 과거처럼 엄청난 용량이 꼭 필요한 것은 아닙니다.
최신 AI 모델은 경량화, 최적화되어 작은 메모리와 연산 능력으로도 동작할수있도록 개발되고 있습니다. 예를 들어, 신경망 압축, 지식 증류, 하드웨어 가속기 탑재 등으로 AI 모델 크기를줄이고 효율성을 높입니다. 따라서 온디바이스 AI가 가능한 장치는 고성능 서버급 용량과는 다르게, 임베디드 기기용 메모리와 연산 자원 내에서 충분히 구동할수있습니다. 물론 클라우드 AI 처럼 방대한 데이터와 학습은 서버에서 담당하고 기기는 필요한 판단 및 동작만 처리하는 방식이 많습니다. 이렇게 하면 인터넷 연결 불안정 시에도 빠르고 안전한 AI 기능을 쓸수있습니다.