Nvidia AI играет в Minecraft и получает награду по машинному обучению🤖
☝🏻MineDojo — новый универсальный агент искусственного интеллекта Nvidia, который может выполнять действия из письменных подсказок в Minecraft, получил награду за выдающиеся наборы данных и контрольные показатели на конференции NeurIPS (системы обработки нейронной информации) 2022 года.
Чтобы обучить MineDojo играть в Minecraft, исследователи показывали ему 730 000 видеороликов Minecraft на YouTube (с транскрибацией более чем 2,2 миллиарда слов), 7 000 извлеченных веб-страниц из вики Minecraft, а также 340 000 сообщений Reddit и 6,6 миллионов комментариев Reddit, описывающих игровой процесс Minecraft .
На основе этих данных исследователи создали специальную модель трансформера под названием MineCLIP, которая связывает видеоклипы с определенными игровыми действиями Minecraft.🤖
В результате кто-то может сказать агенту MineDojo, что делать в игре, используя естественный язык высокого уровня, например, «найти пустынную пирамиду» или «построить портал в Нижний мир и войти в него», и MineDojo выполнит серию шагов. необходимо, чтобы это произошло в игре.
Посмотреть примеры MineDojo в действии можно на его официальном сайте, а код для MineDojo и MineCLIP доступен на GitHub.👏🏻