r/ #technology
Шедевральная работа: разработчик научился в реальном времени создавать VR-сцены при помощи нейросети
Для этого разработчик под ником ScottieFox использовал нейросеть Stable Diffusion и инструмент визуального программирования TouchDesigner для того, чтобы создать несколько VR-сцен, объекты для которых по текстовому запросу сгенерировали алгоритмы машинного обучения.
Автор подчеркнул, что его проект находится на самой ранней стадии разработки, но уже сейчас ему удалось добиться создания полноценных сцен в виртуальной реальности, которые рендерятся в реальном времени при 60 fps.
Нейросеть Stable Diffusion генерирует изображения по запросу, после чего TouchDesigner создаёт их сферическую проекцию. Когда финальная версия объекта готова, он добавляется в VR-сцену, заменяя собой один из старых.