Нейросеть научили судить книгу по обложке

Татьяна Новак

Японские учёные из Университета Кюсю создали нейросеть, определяющую жанр книги по её обложке, пишет MIT Technology Review.

Исследователи создали четырёхслойную свёрточную нейросеть (CNN), каждый из слоёв которой состоит из 512 нейронов. Для обучения нейросети учёные загрузили в неё 137788 уникальных обложек книг с Amazon, классифицированных по 20 различным жанрам. Для каждой книги авторы исследования указали только один жанр — который указан на сайте первым. Исследование опубликовано в открытом доступе.

Иллюстрация: MIT Technology Review

В ходе испытаний алгоритм научился верно определять жанр в 21,9 % случаях. «Это показывает, что классификация книг на основе дизайна обложки возможна, хотя и является очень сложной задачей», — говорят авторы.

Некоторые жанры оказались более лёгкими для распознавания, чем остальные. Например, нейросеть сравнительно легко распознаёт книги о туризме и компьютерных технологиях, потому что дизайнеры используют типичные изображения для книг этих жанров. Также легко программа распознаёт поваренную книгу, если на обложке находится изображение еды, однако испытывает затруднения, если вместо этого на обложке находится, например, портрет шеф-повара.

Биографии и мемуары алгоритм часто относит к смежному жанру исторической литературы, путает детские книжки с комиксами и графическими романами, и почти не отличает медицинскую от другой научной литературы.

Как пишет MIT Technology Review, исследование имеет существенный недостаток: учёные не сравнили результаты работы машины с результатами человека. В частности, полезно было бы узнать, насколько точно определить жанр книге по обложке могу пользователи платформы Mechanical Turk на Amazon.

Загрузить еще