Нейросеть научили восстанавливать изображения лиц по воспоминаниям людей

Татьяна Новак

Американские нейрофизиологи обучили нейросеть восстанавливать изображения лиц из человеческих воспоминаний, расшифрованных с помощью магнитно-резонансной томографии. Об этом пишет Discover.

Исследователи Хунми Ли и Брайс Кюль показали группе добровольцев цветные фотографии 1000 человеческих лиц. В то время, пока участники рассматривали снимки, их мозг сканировали с помощью функциональной магнитно-резонансной томографии (фМРТ). Учёных интересовала активность угловой извилины — области в задней боковой теменной доле, отвечающей за память и распознавание лиц.

Учёные проанализировали те же снимки с помощью алгоритма машинного распознавания лиц Eigenface. Программа с помощью метода главных компонент выделила из изображений лиц 300 компонентов. Сопоставив их с данными фМРТ, программа составила матрицу, в которой определённая черта лица соответствует определённому паттерну мозговой активности.

Нейросеть соспоставила паттерны нейронной активности с определёнными компонентами лица. Иллюстрация Lee and Kuhl

Затем участникам эксперимента показали новые фотографии незнакомых им людей, сканируя их мозговую активность во время процесса вспоминания. На основе данных МРТ и составленной матрицы зависимости нейросеть реконструировала изображение.

Нейросеть реконструировала изображение на основе нейронной активности головного мозга. Иллюстрация Lee and Kuhl

По словам исследователей, несмотря на неточность воспроизведения, нейросети удалось восстановить из человеческих воспоминаний некоторые характеристики, такие как цвет кожи и эмоциональное выражение. Результаты исследования опубликовал Journal of Neuroscience.

Исходные фото и изображения, реконструированные нейросетью по воспоминаниям людей. Иллюстрация Lee and Kuhl

Ранее учёным из Йельского университета с помощью декодированных сигналов мозга реконструировать изображения, которые человек видит в настоящий момент.

Загрузить еще