В MIT разработали нейросеть для создания видеороликов на основе фото
Специалисты Массачусетского технологического института (MIT) создали нейросеть, способную генерировать видеоролики на основе статичных изображений.
В нейронную сеть загрузили более 2 миллионов видео с платформы Flickr, рассортированных на четыре типа в зависимости от того, что на них изображено: поля для гольфа, пляжи, вокзалы, больницы (категория состоит из изображений младенцев). Изучив эти данные, нейронная сеть научились генерировать короткие видеоролики длиной около секунды.
Сначала система распознаёт, что изображено на фото и определяет, к какой категории его отнести. Далее на основе статичного изображения она воссоздаёт движения, которые наиболее часто встречаются в соответствующих видео.
Создатели уточняют, что нейросеть также научилась создавать видео, прогнозируя, какие кадры могли бы следовать дальше. При этом система не понимает, что происходит на видео и прогнозирует только изменения расположения пикселей.
we always went to the beach on the coldest days. i took my orange towel and danced in the wind near the water. pic.twitter.com/MHCqrrtskY
— Kyle McDonald (@kcimc) September 8, 2016
Ещё один недостаток технологии — низкое разрешение: 64×64. Из-за этого при ближайшем рассмотрении происходящее на ролике оказывается не только нереалистичным, но и размытым.
Ранее компания Magic Pony Technology обучила нейросети преобразовывать изображения в более высоком разрешении, реалистично дорисовать текстуру,а также улучшать резкость видео.