Вот так, используя Stable Diffusion, можно реконструировать изображения из данных фМРТ мозга. Верхний ряд — картинки, на которые смотрит человек, нижний — то, что генерирует SD по активности его зрительной коры.
Модель учили на Natural Scenes Dataset, где собраны сканы мозга испытуемых, отсмотревших тысячи изображений. Нюанс в том, что у каждой картинки есть текстовая аннотация, нейросеть ее тоже учитывает. Это и дает впечатляющий результат.
High-resolution image reconstruction with latent diffusion models from human brain activity | bioRxiv (2022) | link
