Исследователи научили искусственный интеллект определять депрессию по фото в Instagram

Татьяна Новак

Учёные Гарвардского и Вермонтского университетов научили искусственный интеллект находить признаки депрессии у пользователей Instagram. Один из признаков — фотографии в синей гамме, с низкой яркостью и насыщенностью, пишут авторы исследования Эндрю Риис и Кристофер Данфорт.

В эксперименте участвовали 166 пользователей Instagram, из которых у 71 человек уже была диагностирована депрессия. Cначала учёные протестировали всех участников по шкале Центра эпидемиологических исследований (CES-D). В ней 20 пунктов, её создали специально для диагностики с помощью опроса. Также людей с диагнозом «депрессия» попросили поделиться историей болезни, включая дату, когда она была диагностирована.

Затем учёные с помощью ИИ проанализировали публикации всех участников исследования в Instagram — почти 44 000 фотографий. Публикации оценивались по многим факторам: степень активности каждого пользователя (число публикаций в день), реакция подписчиков (число лайков и комментариев), наличие и количество лиц на фотографиях (фото в одиночестве или в компании), характеристики изображения (тон, насыщенность и яркость) и метаданные (применённые фильтры для обработки).

Наиболее информативным оказался анализ цветовой модели, основанный на трёхкоординатном методе записи цвета. Его называют HSV или HSB (англ. Hue, Saturation, Value/Brightness — тон, насыщенность, яркость). Оказалось, что для фото людей с депрессией чаще всего характерна синяя цветовая гамма, низкая яркость и насыщенность.

Сравнение цветовых моделей. Справа - пример "депрессивного" фото: низкая яркость и насыщенность, синяя цветовая гамма. Фото: Andrew Reece, Christopher Danforth

При этом они почти не используют цветные фильтры, предпочитая чёрно-белый. В отличие от них, здоровые чаще всего применяют фильтр «Valencia», который создаёт более тёплую цветовую гамму.

Однако учёные предостерегают от скоропалительных выводов на основании цвета фотографий. «Если кто-то публикует много тёмных, в синей гамме фото в Instagram, это не обязательно должно быть красным флажком для терапевта — возможно, на фото просто изображены киты или черника, — объясняют Риис и Данфорт в интервью The Daily Dot. — Интуиция и опыт людей-врачей по-прежнему чрезвычайно важны, особенно в вопросах психического здоровья. Методы машинного обучения могут только дополнять их».

По словам авторов исследования, они также убедились, что люди без соответствующей квалификации не могут найти эти признаки. Они обратились к пользователям платформы Mechanical Turk и попросили их оценить по пятибалльной шкале, насколько интересными и лайкабельными им кажутся эти фото, а также какова их эмоциональная окраска — счастливая ил грустная. «Человеческие рейтинги показали чрезвычайно низкую корреляцию с количественным признаками, такими как цветовая модель или количество лиц на фото. Другими словами, тёмные и блёклые фото в синем спектре не показались им печальными», — говорят исследователи.

Учёным также удалось обнаружить интересное различие в реакциях подписчиков Instagram: оказалось, что фотографии людей с депрессией собирают больше комментариев, но меньше лайков, а фотографии здоровых — наоборот.

Нейросеть с помощью алгоритма распознавания лиц подсчитала, что на фотографиях пользователей с депрессией в среднем присутствует меньше лиц, чем на фото здоровых. По словам учёных, это иллюстрирует то, что депрессивные больные избегают социальных контактов, следовательно, реже фотографируются в компаниях или в людных местах.

Недавно исследователи из Университета Южной Калифорнии научили бота-психотерапевта SimSensei диагностировать у пациентов депрессию и посттравматический синдром, подсчитывая количество гласных звуков в их речи.

Загрузить еще