В Google научили нейронную сеть угадывать место по фотографии
В компании Google научили нейронную сеть определять место съёмки практически любой фотографии, пишет MIT Technology Review.
Группа специалистов Google по компьютерному зрению (computer vision) во главе с Тобиасом Уэйандом разделили карту мира на 26 000 зон, размер которых зависел от количества фотографий, сделанных там — более населенные места получили более подробную разбивку. Затем разработчики создали базу из 126 млн фотографий из интернета с геотегами. 91 млн фотографий использовали для того, чтобы обучить нейросеть определять предполагаемую зону (одну или несколько) на карте мира по изображению. Остальные 34 млн использовали для проверки (валидации) нейросети.
Для финального тестирования нейросети, получившей название PlaNet, использовали 2,3 млн снимков из Flickr с геотегами. В 3,6% случаев PlaNet определила местоположение снятого объекта с точностью до улицы, в 10,1% — с точностью до города, в 28,4% — с точностью до страны и в 48% — с точностью до континента.
Также Уэйанд с коллегами проверили PlaNet через онлайн-игру GeoGuessr. В ней нужно угадать место на карте мира по фотографии из Google Street View. Люди в среднем угадывают место с погрешностью в 2320 км. PlaNet улучшила этот показатель более чем вдвое — до 1130 км.
Программа может даже определять геолокацию фото, сделанных в помещениях. Для этого она анализирует геолокацию других снимков из того же альбома.
Интересно, что работающая нейросеть занимает всего 377 Мб оперативной памяти.