Тайваньские учёные создали бота, который придумывает названия видеороликам

Николай Овчинников

Чиа-Вэнь Лин и Мин Сун из Университета Циньхуа (Тайвань) создали систему ботов, которые придумывают заголовки к видео и рекомендуют тех, с кем им можно поделиться, на основе изображения. Об этом в блоге Microsoft написал программный инженер азиатского подразделения компании Винни Цуй.

Учёные создали метод создания заголовков на основе глубинного обучения. Бот отсматривает видео и выделяет наиболее интересные моменты. Также они разработали метод распозанавания и выделения лиц на видео. Вместе эти алгоритмы помогут лучше оформить видеоролик, размещённый в интернете. Винни Цуй приводит в пример свою бабушку, которая публикует смешные ролики о своих родственниках в сети, но из-за отсутствия нормального заголовка и отметок это видео никто не смотрит.

Лин и Сун вдохновлялись датасетом от Microsoft под названием COCO (Common Objects in Context). Он распознаёт более 300 тыс. различных изображений в любом контексте. Лин и Сун ранее сотрудничали с Тао Мей из Microsoft Research Asia

Это не первый случай применения ИИ в работе с видео. В апреле 2016 года Имперского колледжа в Лондоне разработали технологиюMagic Pony, которая позволяет строить картинки из отдельных элементов и увеличивать чёткость изображения в видеороликах, даже если оно состоит буквально из нескольких пикселей.

В апреле Microsoft представила ресурс, через который можно определить, что или кто изображён на фото. Ранее появился сервис FindFace, который позволяет с высокой точностью найти в соцсетях человека, изображённого на фотографии.

Загрузить еще