Nvidia показала нейросеть для создания реалистичных изображений по наброскам

На конференции GTC 2019 в Калифорнии Nvidia представила демоверсию нейросети GauGAN, с помощью которой можно создавать реалистичные изображения из схематичных рисунков. Модель GauGAN, названа в честь художника Поля Гогена.

GauGAN использует для обработки генеративно-состязательные нейросети (GAN). Генератор создает изображение и передает его обученному на реальных фотографиях дискриминатору, который подсказывает генератору, как доработать изображение и что исправить.

При создании изображения GauGAN генерирует реалистичные детали, такие как отражение объектов в прудах, реках и на других водных поверхностях. Инструмент позволяет менять время суток и года: для этого достаточно переключиться с режима «трава» на «снег», и система автоматически поменяет окружение на картинке, например, уберет листву с деревьев.

Пока GauGAN умеет работать только с пейзажами и элементами природы, но нейросеть можно обучить для создания и обработки изображений со зданиями, дорогами, людьми. GauGAN может стать инструментом, который поможет архитекторам, ландшафтным дизайнерам и разработчикам игр упростить создание прототипов и ускорить их редактирование.