👀 Исследователи из Google и Берлинского технического университета создали мультимодальную визуально-лингвистическую модель PaLM-E с 562 млрд параметров. Алгоритм можно использовать в роботах для автономного выполнения множества задач в реальном мире. По словам исследователей, система обладает широким набором возможностей, связанных с математикой, логикой и рассуждениями. Технология базируется на языковой модели PaLM, нейросети для генерации действий в задачах робототехники RT-1 и визуальном трансформере ViT-22B. 🤖 Робот с интегрированной PaLM-E анализирует данные с установленных в нем камер и генерирует собственный план действий в ответ на команды. Алгоритм также может давать ответы на вопросы о мире и создавать подписи к изображениям. #Google #роботы