Google Brain научил нейросеть дорисовывать пикселизированные изображения

Татьяна Новак

Учёные из Google Brain, исследовательского подразделения Google, научили нейросеть дорисовывать пикселизированные изображения. Об этом пишет Ars Technica.

Авторы использовали две сверточные нейросети, обученные на одинаковых наборах данных: 200 тыс. фотографий лиц знаменитостей из библиотеки CelebA и 2 млн фотографий спален из базы LSUN Bedrooms. Для каждого изображения были созданы две копии: разрешением 32×32 пикселей и 8×8 пикселей.

В левом столбце: исходное изображение с разрешением 8×8 пикселей. В среднем: изображение, сгенерированное нейросетью с разрешением 32×32. В правом: исходное изображение с разрешением 32×32. Google Brain

Сначала одна нейросеть (conditioning network) сравнивает детали изображения разрешения 8×8 с известными ей изображениями в высоком разрешении, уменьшая их до тех же размеров. Затем вторая (prior network) на архитектуре PixelCNN анализирует похожие изображения и добавляет детали на имеющиеся фотографии.

В результате, программа генерирует новое изображение разрешением 32×32, которое отличается от исходной фотографии высокого разрешения. Авторы пишут, что некоторые изображения получились даже более правдоподобными по сравнению с оригинальными фотографиями. Респонденты, которым показали изображения, не смогли отличить машинные изображения от реальных фото знаменитостей в 10% случаев, а изображения спален — в 28%.

Ранее сообщалось, что программист из Вены Алекс Джей Чампандэрд запустил сайт, который позволяет повысить качество снимков низкого разрешения с помощью нейросети. Как и разработчики из Google Brain, он использует способность нейросети распознавать размытые фрагменты изображения и заменять их аналогичными, увиденными ранее на изображениях высокого разрешения.

Загрузить еще