Нейросеть от Facebook научилась «открывать» людям глаза на фотографиях

Татьяна Новак

Исследовательское подразделение Facebook разработало нейросеть для редактирования фотографий, во время съёмки которых изображённые на них люди случайно моргнули. Исследование опубликовано в блоге компании.

Чтобы реалистично отредактировать фотографию конкретной модели с закрытыми глазами, алгоритму нужен образец — её фото с открытыми глазами. В отличие от других программ для редактирования фото, таких как Adobe Photoshop Elements, он не накладывает готовое изображение глаз на неудачное фото, а полностью «перерисовывает» эту фотографию таким образом, как будто глаза открыты.

Новую нейросеть, на которой основан алгоритм, учёные назвали образцовой генеративной состязательной нейросетью (англ. exemplar generative adversarial network, сокращенно exGAN). От стандартных генеративных состязательных нейросетей (GAN) она отличается тем, что при создании искусственного изображения она опирается не только на результаты обучения на большом количестве фото (в данном случае — 17 тыс. фотографий знаменитостей), но и на образец фото конкретного человека.

Результат работы алгоритма

У программы пока есть недостатки: она не всегда воссоздаёт правильный цвет глаз. Также качество отредактированного фото страдает, если на исходном снимке глаза закрыты волосами или очками.

Примеры неудачной работы алгоритма

Тем не менее, авторы надеются, что их работа будет полезной — и не только для «открывания» глаз на фото, но и для дальнейших разработок в области генерирования изображений.

Загрузить еще