딥페이크기술은 어떤 원리로 구현되는 건가요?

Question

안녕하세요

요즘들어 합성이지만, 너무나 자연스럽게 다른 사람의 얼굴을 그대로 복사하여

영상을 찍어내는 딥페이크 기술이 화두가 되었는데요

이 딥페이크 기술은 어떤 원리로 구현이 되는지 궁금합니다.

Answer 1

안녕하세요. 설효훈 과학전문가입니다. 딥페이크(deepfake)란 인공지능을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 영상편집물을 총칭한다. 과거 인물의 사진이나 영상을 조악하게 합성해 게시하던 것이 디지털 기술과 인공지능의 발전으로 몇 단계 정교해진 결과라 볼 수 있다. 원리는 다음과 같다. 합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을 프레임 단위로 합성시키는 것이다. 병렬연산장치의 성능에 따라 속도와 품질이 결정된다.

머리 외곽선을 통째로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것이다. 사람의 인상에는 헤어스타일과 안면윤곽도 크게 작용하며, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이루어졌다 하더라도 전혀 동일인이 아닌 것처럼 보일 수 있다.

출처 : 나무위키 - 딥페이크

Answer 2

안녕하세요. 김두환 과학전문가입니다.

딥페이크는 합성과 같은 기술입니다. 흔히 포토샵을 이용해 합성하고 보정하는 작업을 하는데, 딥페이크도 이와 같은 원리입니다. 사진이나 영상에 전혀 다른 두 사진이나 영상을 합성하여 만들어낸 것이죠.

Answer 3

딥페이크 기술은 딥러닝 모델을 사용하여 구현됩니다. 먼저, 대량의 실제 인물이나 사물의 이미지와 해당 이미지에 대한 라벨을 사용하여 딥러닝 모델을 훈련합니다. 일반적으로 생성적 적대 신경망(GAN, Generative Adversarial Networks)이나 변분 오토인코더(Variational Autoencoder)와 같은 딥러닝 아키텍처가 사용됩니다.

훈련된 딥러닝 모델은 생성 모델과 판별 모델로 구성됩니다. 생성 모델은 학습한 이미지를 기반으로 새로운 이미지를 생성하는 역할을 담당하고, 판별 모델은 생성된 이미지와 실제 이미지를 구분하는 역할을 수행합니다.

생성 모델은 학습한 데이터의 특징과 패턴을 기반으로 새로운 이미지를 생성합니다. 이를 통해 실제 인물의 얼굴과 표정을 가공하거나 다른 이미지와 합성할 수 있습니다. 생성된 이미지는 판별 모델을 통과하여 얼마나 실제와 유사한지 판별됩니다.

초기에 생성된 이미지는 현실적이지 않을 수 있습니다. 따라서 생성 모델은 판별 모델의 피드백을 통해 자체를 향상시키고 미세 조정됩니다. 이를 반복하면서 더 실제와 유사한 이미지를 생성할 수 있는 모델을 개발할 수 있습니다.

Answer 4

딥페이크 기술은 인공지능 기술을 활용하여 동영상에 다른 사람의 얼굴을 합성하는 기술입니다.

딥페이크의 원리는 합성하려는 인물의 얼굴이 잘 나오는 고화질의 동영상을 인공지능이 학습하고, 타깃이 되는 동영상에 프레임 단위로 합성하는 것입니다. 딥페이크는 GAN이라는 인공지능 기계학습 기술을 사용하여, 가짜를 만들어내는 AI와 가짜를 구분해내는 AI를 대립시켜 진짜 같은 가짜를 만들어냅니다.

딥페이크 기술은 얼굴을 대체하고, 표정을 조작하고, 얼굴을 합성하고, 말을 합성할 수 있습니다.