Учёные из Беркли создали «противоположную» Prisma программу

Татьяна Новак

Программисты из Исследовательской лаборатории Калифорнийского университета в Беркли (BAIR) научили нейросеть превращать картины художников в реалистичные фотографии, пишет Engadget.

Алгоритм подобен тому, который создали разработчики приложения Prisma. Но если Prisma переносит стили известных художников на фотографии, то эта программа может работать и наоборот, придавая характеристики реалистичных фотографий картинам художников.

Исследователи использовали генеративную состязательную нейросеть (GAN), состоящую из двух компонентов: генератора, который создаёт синтетическое изображение, и дискриминатора, который проверяет сходство с исходником. В неё загрузили более 2 тыс. картин Моне, Ван Гога и Сезанна, 1,5 тыс. картин в стиле укиё-э, 6,7 тыс. пейзажных фотографий с Flickr, 2 тыс. фотографий зебр и лошадей, а также более 50 тысяч фотографий других объектов.

Например, нейросеть смогла превратить картину импрессиониста Клода Моне в фотографию, а также создать на основе фотографии изображение в стиле Моне:

Что интересно, команда ученых использовала так называемые «непарные данные». Другими словами, у них не было исходных фотографий, похожих на полотна Моне. «Вместо этого у нас есть набор картин Моне и набор пейзажных фотографий. Мы можем проанализировать стилистические различия между этими двумя наборами и тем самым представлить, как могло бы выглядеть одно и то же изображение, если перевести его из одного набора в другой», — пишут авторы.

Исследователи применили эту же технологию для трансфигурации объектов, заменив лошадей на фотографиях зебрами, яблоки — апельсинами.

Фото: UC Berkeley
Фото: UC Berkeley

Этот же метод позволил превращать летние пейзажи в зимние.

Фото: UC Berkeley
Загрузить еще