В MIT разработали нейросеть для создания видеороликов на основе фото

Татьяна Новак

Специалисты Массачусетского технологического института (MIT) создали нейросеть, способную генерировать видеоролики на основе статичных изображений.

В нейронную сеть загрузили более 2 миллионов видео с платформы Flickr, рассортированных на четыре типа в зависимости от того, что на них изображено: поля для гольфа, пляжи, вокзалы, больницы (категория состоит из изображений младенцев). Изучив эти данные, нейронная сеть научились генерировать короткие видеоролики длиной около секунды.

Сначала система распознаёт, что изображено на фото и определяет, к какой категории его отнести. Далее на основе статичного изображения она воссоздаёт движения, которые наиболее часто встречаются в соответствующих видео.

Создатели уточняют, что нейросеть также научилась создавать видео, прогнозируя, какие кадры могли бы следовать дальше. При этом система не понимает, что происходит на видео и прогнозирует только изменения расположения пикселей.

Ещё один недостаток технологии — низкое разрешение: 64×64. Из-за этого при ближайшем рассмотрении происходящее на ролике оказывается не только нереалистичным, но и размытым.

Ранее компания Magic Pony Technology обучила нейросети преобразовывать изображения в более высоком разрешении, реалистично дорисовать текстуру,а также улучшать резкость видео.

Загрузить еще