Японские ученые обманули системы распознавания изображений, изменив один пиксель

Татьяна Новак

Учёные из Университета Кюсю научились обманывать популярные системы распознавания изображений, изменяя в фотографиях всего один или несколько пикселей. Препринт исследования опубликован на Arxiv.org.

Учёные использовали изображения, состоящие из 1024 пикселей. Они выяснили, что изменение всего одного пикселя приводит к тому, что с вероятностью 73,8% нейросеть идентифицирует изображённый объект неправильно. При изменении 2 пикселей вероятность ошибки повышается до 82%, 3 пикселей — до 87,3%. При этом программа может спутать изображённый объект как с относительно похожим (например, кошку с собакой), так и с непохожим даже отдалённо — например, лягушку с грузовиком. Учёные предполагает, что такая технология будет работать и с изображениями в высоком разрешении, только потребуется изменять не единицы пикселей, а сотни.

Изображения или предметы, созданные для обмана систем распознавания, называют состязательными примерами (adversarial examples). Недавно учёные из Массачусетского технологического института (MIT) напечатали на 3D-принтере макет черепахи, который система распознавания изображений от Google идентифицирует как винтовку. Для этого перед печатью они нанесли на трёхмерную модель невидимый слой, созданный с помощью алгоритма Expectation Over Transformation (EOT), разработанного специально для создания состязательных примеров. По словам автора исследования Аниша Атали, учёные пока не до конца понимают, как работают состязательные примеры и почему они существуют, поэтому эта тема требует дальнейшего изучения.

Загрузить еще