Microsoft запустил онлайн-сервис, описывающий содержание фотографий

Лев Шевченко

Microsoft представил сервис, распознающий содержание фотографий. Онлайн-бот CaptionBot описывает внешний вид и эмоции людей, изображенных на загруженных фото, а также перечисляет запечатленные в кадре объекты. Если на фотографии есть кто-то, похожий на знаменитость, CaptionBot оценит сходство в процентах.

CaptionBot использует две нейросети. Одна распознает изображенное, другая — отвечает за качество описания «человеческим» языком. Также программа использует в описаниях эмодзи.

Пока программа не всегда может описать фотографию, но она продолжает учиться — Microsoft использует загруженные изображения для дальнейшего обучения. За качество описания фотографии боту можно поставить оценку по 5-балльной шкале. Фотографии сохраняются на сервере, но компания обещает не использовать личную информацию с них.

Мы показали CaptionBot несколько фотографий.

Ранее Microsoft запускал бота, распознающего породу собак и схожесть человека с ними, и определяющего возраст человека. Google же разработал алгоритмы, описывающие содержание фото еще в 2014 году. Недавно компания Curalate создала нейросеть Emojini, которая подбирает эмодзи к фотографиям.
Загрузить еще