Учёные создали устройство, которое следит, чтобы вещи были на своих местах

Татьяна Новак

Исследователи из Корнелльского и Стэнфордского университетов разработали устройство WatchBot, которое при помощи лазерной указки напоминает о предметах, забытых не на своём месте. Об этом пишет IEEE Spectrum.

Разработчики представили своё изобретение на конференции ICRA. WatchBot — это роботизированная система, которая состоит из сенсорного 3D-датчика Kinect, подвижной камеры и лазерной указки, установленных на штативе и подключённых к ноутбуку. Система запоминает стандартные последовательности действий человека и в случае пропущенного действия направляет лазерную указку на предмет, связанный с этим действием.

WatchBot указывает на молоко, которое забыли убрать в холодильник. Watch-Bot Project

Учёные установили WatchBot на 5 кухнях и в 8 офисах. В течение недели устройство наблюдало за деятельностью добровольцев и записывало всё происходящее на камеру. Далее исследователи описали 458 видеороликов, в которых люди совершали 21 разное действие с 23 типами объектов. Также авторы использовали 222 ролика, где люди в кадре намеренно пропускали какую-либо часть стандартного действия.

Чтобы нейросеть научилась обнаруживать пропущенные действия, ей сначала показали ролики, где люди выполняли все необходимые действия, а затем — преимущественно те, где люди забывали что-либо сделать. При этом программе не давали установок запоминать пропущенные действия, она сама обнаружила определённые закономерности, используя вероятностные модели. Такую форму обучения искусственного интеллекта называют «неконтролируемым обучением».

Схема работы устройства. Watch-Bot Project

Добровольцы, участвовавшие в эксперименте, в целом считают это изобретение полезным. Уже сейчас WatchBot в 60% случаев успешно находит пропущенное звено в действии и указывает на забытый не на своём месте предмет при помощи указки. Например, устройство указывает на микроволновку, если в ней забыли разогретую еду, на книгу, которую не вернули на полку, на компьютер, который забыли выключить.

Сейчас исследователи работают над проектом Robowatch, в котором нейросеть продолжит обучение с помощью онлайн-видео, например, пользовательского контента на YouTube.

Загрузить еще