ИИ научился определять рецепт блюда по фото

Татьяна Новак

Исследователи из Массачусетского технологического института (MIT) и Катарского исследовательского института (QCRI) создали ИИ-алгоритм Pic2Recipe, который умеет определять ингридиенты и составлять рецепты блюд по их фотографиям.

Для обучения алгоритма учёные собрали базу данных Recipe1M, в которой содержится около миллиона рецептов, включающих такие пункты как название блюда, тип (основное блюдо, салат, десерт и т.д.), список ингредиентов, инструкцию по приготовлению и фотографии готового блюда. Нейросеть училась сопоставлять фотографии с остальными пунктами рецепта: сначала с каждым по отдельности, затем в комплексе.

MIT

В результате нейросеть обучилась самостоятельно определять полный рецепт, получая на вход только фотографию готового блюда.

MIT

Также она может работать и наоборот: подбирать фотографию блюда к его рецепту. Проверить работу алгоритма можно на сайте института.

MIT
Загрузить еще