[논문 소개] Drag Your GAN - 마우스 드래그로 이미지를 생성/변형하는 AI

Drag Your GAN

 

 

이전의 접근 방식과 달리 Drag Your GAN은 사용자의 마우스 드래그만으로 GAN을 제어한다. 논문 저자는 누구나 픽셀의 위치를 정밀하게 제어하여 이미지를 변형할 수 있으므로 동물, 자동차, 인간, 풍경 등과 같은 다양한 범주의 포즈, 모양, 표현 및 레이아웃을 조작할 수 있다고 한다. 논문에 공개된 figure를 보면 사자의 입을 드래그하여 벌리게 하거나 다른 곳을 응시하게 할수 있고, 사람의 자세를 바꾸거나 풍경 속 산의 높이를 바꿀 수도 있다. 물론 꽤나 자연스럽게 말이다. GAN 분야에서 이미 이미지 매니폴드를 학습하여 이미지를 생성/변형하는 연구는 많았지만 이렇게 뭔가 프로덕트화(?)되어 공개된 논문은 처음 보는 것 같다.

 

Motion supervision 단계는 핸들 포인트(빨간색 점)를 드라이브하여 타겟 포인트(파란색 점)를 향해 이동하고, point tracking 단계는 핸들 포인트를 업데이트하여 이미지 속 객체를 추적한다고 한다. 이 프로세스는 핸들 포인트가 타겟 포인트에 도달할 때까지 계속된다.

 

이러한 motion supervision은 generator의 feature map에서 시프트된 patch loss를 통해 달성되고, nearest neighbor search 방법을 통해 동일한 feature space에서 point tracking을 수행한다고 한다.

 

 

---

 

아래에 프로젝트 페이지와 예시 영상을 첨부한다.

 

Project Page

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

 

예시영상