Nvidia продолжает творить удивительные вещи в области развития метавселенных, пока другие (привет, Марк!) лишь рассказывают нам, как круто там будет. Их новая фича Omniverse Audio2Face — это инструмент трансформации звука в лицевую анимацию любых персонажей через загрузку готового аудиофайла или в режиме лайв (!).
Работает всё через диплёрн-нейронку: она анализирует полученный звук и преобразует в движения персонажа или персонажей.
Дальше больше — экспортировать результат можно куда угодно, в тч в метавселенные, а помимо движений рта в ближайшем будущем сетка сможет управлять всеми движениями анимированных героев.
Особенно приятно, что уже на старте Omniverse Audio2Face вместе с английским, итальянским и французским языками обрабатывает русский. То есть, нашим аниматорам гениальная штука от Nvidia тоже сильно облегчает жизнь, а компания делает потенциал метавселенных ещё выше. Гик в предвкушении :]