Чтение мыслей не за горами Недавно была представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI). Сперва авторы обучили модель для получения универсальных показателей мозговой активности (так называемых эмбеддингов, они одинаковы для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек! Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу. Статья