Nvidia научила нейросеть замедлять видео

Татьяна Новак

Компания Nvidia разработала систему глубокого обучения, которая может из обычной видеозаписи создать высококачественное видео с эффектом замедленной съёмки. Об этом сообщается на сайте компании.

Чтобы преобразовать обычное видео (например, с частотой 30 кадров в секунду) в замедленное (240 кадров в секунду), нужно добавить недостающие кадры искусственно. Нейросеть научилась генерировать нужные кадры, проанализировав более 11 тысяч видеороликов, записанных в режиме замедленной съёмки. Для обучения использовались графические процессоры NVIDIA Tesla V100 и система обучения PyTorch. «Наш метод позволяет генерировать сразу несколько промежуточных кадров, которые согласованы во времени и пространстве», — утверждают авторы.

Некоторые новые смартфоны, такие как Samsung Galaxy S9, уже позволяют снимать короткие видеоролики с замедленным движением. Но авторы считают, что использовать такую функцию на небольшом мобильном устройстве нерационально: съёмка с большим количеством кадров в секунду потребляет много памяти и энергии. Гораздо лучше, по мнению Nvidia, переделывать в слоу-мо уже готовые видео. Компания также продемонстрировала, что замедленные видео, созданные её алгоритмом, по качеству превосходят даже настоящие, снятые вручную:

Свою технологию разработчики собираются представить на конференции по компьютерному зрению CVPR.

Загрузить еще