Исследователи из университета Киото выяснили, как создать нейросеть, которая сможет воспроизводить образы из головы человека.
В качестве основы была взята программа для создания картинок из текста Stable Diffusion. Техника ее работы заключается в том, чтобы составлять картинку по крылатым фразам.
Специалисты добавили еще один обучающий буфер — человеческий мозг. ИИ должен был сопоставить информацию об активности мозга четырех человек с помощью реверберационной визуализации.
Нейросеть считывала действия головного мозга и формировала набор данных. Часть выходных данных преобразовывалась в текст.
После просмотра 10 000 изображений искусственному интеллекту нужно было пройти этап сопоставления полученных визуальных данных, соотнеся их с записанными действиями мозга.
На первом этапе нейросеть отвечала за ракурс и объем картинки. Таким образом, у специалистов появилась возможность сделать фотографии, которые на 80% были похожи на те, что видели испытуемые.