Новая нейросеть ImageBind работает с 6 типами информации — текст, изображение, видео, аудио, 3D-карты глубины и сведения о температуре. Например, модель сгенерирует морское путешествие — она не только напишет план, но и исполнит подходящую музыку, передаст покачивание судна на волнах и смоделирует холодный морской ветер. Теперь ИИ связывает не только текст и изображение, а сводит разные миры воедино: алгоритм понимает и возвращает звук, IMU-сигналы, температуры и другие модальности. В будущем он будет даже «чувствовать» прикосновения, запах и речь. Нейросети становятся все ближе к тому, как воспринимает реальность человек!