В Adobe создали фоторедактор на основе нейросети

Татьяна Новак

Исследователи из Adobe Research и Калифорнийского университета в Беркли разработали нейросеть для реалистичного изменения формы и цвета объектов на фотографии. Об этом пишет The Next Web.

Учёные создали алгоритм, который позволяет генерировать фотореалистичные рисунки на основе нескольких штрихов. Пользователь должен задать для программы три параметра: цвет, скетч и деформацию. Например, чтобы нарисовать горный пейзаж, достаточно обозначить зелёной линией траву и голубой — небо. С помощью скетча пользователь может изобразить на существующем изображении новую форму — пунктирный треугольник, из которого программа нарисует гору. Программа генерирует несколько вариантов, из которых пользователь выбирает наиболее подходящий для обработки.

Нейросеть рисует горный пейзаж.Фото: Jun-Yan Zhu et al., / University of California, Berkeley

С помощью режима деформации можно уточнить изменение формы на локальных участках. А изменить цвет на отдельном фрагменте можно с помощью цветной кисти.

Инструмент особенно полезен, когда нужно нарисовать несколько похожих объектов разных цветов и размеров — например, разных цветовых вариантов и размерной линейки для одной модели обуви.

Алгоритм глубинного обучения имеет функцию генеративной трансформации изображения, то есть позволяет автоматически изменять цвет и форму объекта по определённому образцу. В приведённом ниже примере программа изменяет цвет и форму исходного изображения сумки по образцу другой сумки:

Чтобы обучить нейросеть, учёные загрузили в неё около 600 тысяч изображений. Среди них — фотографии природы, а также изображения товаров из онлайн-магазинов.

Больше прочитать о технологии можно здесь. Исходный код программы доступен на GitHub.

Загрузить еще