​Vid2Game: из реального человека в управляемого персонажа

Команда исследователей из компании Facebook разработала алгоритм Vid2Game, способный преобразовывать людей из видеоролика в игровых персонажей.

Система использует две нейросети: Pose2Pose, которая определяет типы действий на видео, и Pose2Frame, которая отделяет фигуру вместе с тенью и предметами в руках от заднего плана и переносит на черный фон. После этого движениями объекта можно управлять с помощью джойстика или клавиатуры, а также перенести героя в сцены из других роликов.

Для тренировки системы потребовалось несколько коротких видео с фехтованием, танцами и игрой в теннис. Алгоритм смог убрать других людей с кадра и компенсировать различные углы камеры.

Сгенерированная Vid2Game анимация пока не совершенна, однако в будущем разработчики намерены сделать движения фигур более реалистичными. Создатели уверены, что решение будет полезно для разработчиков игр.

#hey_news
Источник: Engadget