Специалисты Yahoo обучили нейросеть находить оскорбительные комментарии

Татьяна Новак

Разработчики из американской компании Yahoo создали нейросеть, которая умеет находить в комментариях язык вражды. В 90% случаев алгоритм верно определяет сообщения с оскорбительными коннотациями, пишет Wired.

Большинство существующих детекторов языка вражды, как и спам-фильтры, используют поиск по ключевым словам. Если комментарии содержит ключевое слово из чёрного списка, алгоритм автоматически удаляет его и отправляет на проверку модератору. Но такие программы не могут распознать более тонкие проявления языка ненависти, кроме того, не улавливают сарказм в сообщениях.

Учёные из Yahoo «скормили» нейросети набор комментариев с Yahoo News и Yahoo Finance. Чтобы выделить характерные черты оскорбительных сообщений, алгоритм проанализировал длину комментариев, количество слов и знаков препинания в каждом из них. Предварительно этот набор сообщений проанализировали сотрудники Yahoo, изучающие язык вражды, и промаркировали каждое как «оскорбительное» или «не оскорбительное».

Также разработчики обратились за помощью респондентов на Amazon Mechanical Turk. Участники оценивали тот же набор сообщений, получая по $0.02 за каждую оценку. По словам исследователей, они справились с заданием гораздо хуже, чем специалисты Yahoo, так как во многих случаях не смогли определить язык вражды.

Хотя учёные пока не проверили алгоритм Yahoo на практике, они уверены, что сделали важный шаг вперед в области обработки естественного языка. В скором времени база данных появится на Yahoo Webscope. Подробнее об исследовании можно прочитать тут.

В июне социолог Леа Стэйхел из Университета Цюриха опубликовала результаты изучения комментариев под онлайн-петициями на немецком сайте с 2010 по 2013 год. Она заявила, что, вопреки сложившемуся мнению, анонимные пользователи реже пишут оскорбительные комментарии в интернете, чем авторизованные.

Загрузить еще