Интересную нейронку показали разработчики Wayve (компания которая делает автопилот для машин):
GAIA-1 обучена на тексте, видео и действиях автомобиля (!) собранных в реальном мире, то есть это что-то вроде текст-в-видео, но только в рамках автовождения. Ну или нейронный GTA, только для ученых.
Интересным мне показалось это:
>Истинное чудо GAIA-1 заключается в ее способности проявлять генеративные правила, которые лежат в основе мира, в котором мы живем. Благодаря обширному обучению на разнообразных данных о вождении, наша модель синтезирует структуру и закономерности, присущие реальному миру, что позволяет ей генерировать удивительно реалистичные и разнообразные сцены вождения.
То есть модель, например, может предсказать, что будет в синтетическом мире, если резко остановиться, сделать 360-бублик на дороге, и тп. Все "участники" синтезированного мира будут реагировать соответственно.
Модель будут использовать для улучшения работы автопилота, и видимо именно благодаря этой задаче мы и приблизимся к нормальному генеративному кино (это мое мнение).
Анонс тут:
https://wayve.ai/thinking/introducing-gaia1/