DragGAN: open source модель для манипуляции созданными GAN изображениями
Исследователи из Института Макса Планка, MIT и Google представили подход DragGAN для манипуляции содержимым изображений, созданных с помощью GAN. Достаточно расставить несколько опорных и целевых точек на изображении, и модель переместит опорные точки для соответствия целевым точкам. При желании можно использовать бинарную маску, чтобы оставить часть изображения неизменным.
DragGAN деформирует изображение с точным контролем смещения пикселей, позволяя менять позу, форму, выражение лица и композицию объектов: животных, автомобилей, людей, природных явлений.
Авторы также показали, как можно манипулировать реальными (не сгенерированными нейросетью) изображениями. Для этого сперва производится инверсия GAN для отображения его в латентном пространстве StyleGAN, после чего изображение редактируется.
#StateoftheArt