Нейросеть научили восстанавливать цветные фото по эскизам

Татьяна Новак

Датские исследователи из Университета Неймегена обучили нейросеть реконструировать фотореалистичные изображения на основе эскизов, созданных компьютером или нарисованных человеком. Об этом пишет MIT Technology Review.

Учёные взяли 200 000 изображений из интернета и с помощью простого алгоритма обработки фотографий превратили их в эскизы трёх типов: контурные, черно-белые и цветные. Затем набор этих изображений загрузили в нейросеть, состоящую из 11 слоёв. Когда она их изучила, исследователи загрузили в неё новый набор эскизов, на этот раз без оригиналов, и получили восстановленные фотореалистичные изображения. Самыми точными оказались фотографии на базе эскизов, в которых прорисованы только контуры лица.

Пример работы нейросети. Восстановление фотореалистичного изображения на основе эскиза. Иллюстрация: Yagmur Gucluturk

Хотя нейросеть не во всех случаях корректно синтезировала цвета форму и текстуру она воссоздала достаточно точно. Учёные обращают внимание, что ей даже удалось реалистично воспроизвести изображение волос, чего не удавалось в предыдущих экспериментах.

Пример работы нейросети на основе трёх видов эскизов: контурных, чёрно-белых и цветных. Иллюстрация: Yagmur Gucluturk

Далее ученые проверили, насколько точно удастся искусственному интеллекту восстановить изображение по эскизу, нарисованному человеком.

Изображения, реконструированные нейросетью на основе эскизов, нарисованных человеком. Иллюстрация: Yagmur Gucluturk

Сложней всего нейросети оказалось дорисовывать карандашные наброски художников с недостаточно прорисованными тенями. Учёные объясняют это тем, что нейросеть тренировалась только на рисунках, обработанных алгоритмом.

Картины, нарисованные нейросетью на основе карандашных автопортретов Рембранта, Ван Гога и Эшера. Иллюстрация: Yagmur Gucluturk

Полный текст исследования доступен на arXiv.org.

Ранее исследователям удалось восстановить изображения лиц из человеческих воспоминаний с помощью данных сканирования мозга.

А исследователи из MIT разработали алгоритм машинного обучения, подбирающий звуковые эффекты к беззвучным кадрам.

Загрузить еще