В Disney научились предсказывать реакцию зрителей на фильм по выражениям лиц

Татьяна Новак

Учёные из Disney Research научились предсказывать реакцию зрителей на фильм, используя алгоритм распознавания эмоций, пишет Phys.org.

Исследовательская группа обучала алгоритм на 16 миллионах шаблонов выражений лиц, собранных во время 150 показов девяти фильмов, среди них — «Большой герой 6», «Книга джунглей», «Зверополис» и «Звёздные войны: Пробуждение силы». Показы проходили в 400-местном кинозале, оснащенном четырьмя инфракрасными камерами для наблюдения за лицами зрителей. В эксперименте участвовали более 3 тыс. людей.

Сейчас нейросети достаточно проследить за выражениями лиц зрителей в течение 10 минут, чтобы спрогнозировать эмоции, которые они будут испытывать в течение всего фильма.

Чтобы предсказать «среднюю» реакцию зрителей на фильм, программа находит в зале зрителей, выражение лиц которых почти не меняется на протяжении просмотра, а затем сравнивает выражениями остальной аудитории. Также алгоритм научился распознавать, когда зрители улыбаются и смеются, а также анализировать, совпадают ли эти эмоции с комичными сценам в фильме.

«Понимание человеческого поведения имеет основополагающее значение для развития систем ИИ, имеющих более высокий социальный интеллект. Например, разработка систем ИИ для оказания помощи при наблюдении и уходе за пожилыми людьми зависит от возможности анализировать их невербальные сигналы. В конце концов, люди не всегда прямо говорят, что они чем-то недовольны или у них возникла какая-то проблема», — говорит исследователь Йисун Юэ из компании Caltech, который сотрудничал с Disney в разработке программы.

Программное обеспечение основано на новом алгоритме, названном факторизованными вариационными автокодерами (FVAE). Вариационные автокодеры используют глубокое обучение для автоматического перевода изображений сложных объектов, таких как лица, в наборы числовых данных, также называемые скрытым представлением. Вклад Юэ и его коллег состоял в том, чтобы обучить автокодеры включать в анализ метаданные (соответствующую информацию об анализируемых данных).

В то время как Disney использует эту технологию специально для идентификации шаблонов в выражениях лица, FVAE могут применяться и к другим объектам. Например, проанализировав, как влияет ветер на несколько деревьев в лесу, с помощью FVAE можно предсказать его влияние на весь лес.

Загрузить еще