Искусственный интеллект усвоил расовые и гендерные стереотипы из текстов в интернете

Татьяна Новак

Учёные из Принстонского университета выяснили, что самообучающаяся система GloVe способна перенимать человеческие предрассудки, выраженные в языке. Проанализировав в интернете около триллиона слов в текстах на английском языке, программа стала ассоциировать популярные среди афроамериканцев имена с негативно окрашенными словами, пишет Motherboard.

Исследование базировалось на известном эксперименте психолога Энтони Гринвальда из Университета штата Вашингтон, который занимается изучением скрытых установок. В конце 90-х годов он провёл эксперимент: попросил людей подобрать к названиям цветов и насекомых слова, с которыми они ассоциируются. Слова, предложенные для описания, имели «приятную» или «неприятную» эмоциональную окраску — например «семья» или «катастрофа». Участники эксперимента связали «приятные» слова с названиями цветов, а «неприятные» — с названиями насекомых. Затем Гринвальд аналогичным образом проверил реакцию на слова и изображения, ассоциируемые с чернокожими людьми. Оказалось, что респонденты неосознанно устанавливают связь между изображениями или именами чернокожих людей и негативно окрашенными словами.

Исследователи из Принстонского университета Айлин Калискан-Ислам, Джоанна Брайсон и Арвин Нараянан провели похожий эксперимент, только на предрассудки они проверили не человека, а популярную систему для обработки естественного языка GloVe. Самообучающаяся система проанализировала около триллиона слов в текстах из интернета, находя семантические связи между словами и определяя эмоциональную валентность отдельных слов. После обучения алгоритм также связал название цветов с «приятными» словами, а насекомых — с «неприятными».

Результаты второй части эксперимента тоже совпали: имена, популярные среди белых американцев (например, Эмили и Мэтт), алгоритм связал с «приятными» словами, а имена, популярные среди афроамериканцев (Эбони и Джамал) — с «неприятными». «Искусственный интеллект и машинное обучение развиваются огромными темпами. Однако существуют опасения, что эти технологии могут быть намеренно или ненамеренно использованы для того, чтобы увековечить предрассудки и несправедливость, которые, к сожалению, характеризуют многие человеческие институты», — пишут авторы.

Помимо расистских предрассудков, алгоритм перенял из английского языка и гендерные стереотипы. Мужские имена он поставил в один ряд с такими словами, как «управление», «зарплата», «исполнительный», «профессиональный», «корпорация», «зарплата», «офис», «бизнес», «карьера», а женские — со словами «дом», «семья», «родители», «дети», «кузены», «брак», «свадьба», «родственники». Учёные подчёркивают, что алгоритм не был запрограммирован на поиск проявления стереотипов: эти ассоциации заключены в самой структуре английского языка, по крайней мере, в том, как он представлен в интернете. «Когда искусственный интеллект узнаёт о свойствах языка достаточно, чтобы быть в состоянии понять и воспроизвести его, он также приобретает культурные ассоциации, которые могут быть оскорбительными, нежелательными или вредными», — предупреждают авторы.

Ранее в этом году портал ProPublica опубликовал результаты расследования, согласно котором алгоритм прогнозирования преступлений в штате Флорида в 80% случаях ошибочно вносит чернокожих подозреваемых в категорию «высокого риска», тогда как с белыми подозреваемыми это происходит в два раза реже.

Загрузить еще