Нейросеть PIGEON научилась определять местоположение объектов на фотографиях

Лукаса Хааса, Михала Скрету и Сайласа Альберти объединило увлечение онлайн-игрой GeoGuessr, в которой участникам предлагается определять геолокацию изображённых на фотографиях объектов. В GeoGuessr более 50 млн игроков, которые участвуют в чемпионатах мира, ведут стримы в Twitch и популярные каналы в Youtube. Аспиранты Стэнфорда считали, что сами неплохо играют в GeoGuessr. Более того, им было интересно: смогут ли они создать игрока с искусственным интеллектом, который будет действовать лучше, чем люди. Они обратились к уже существующей системе анализа изображений CLIP и изображениям Google Street View, создав свой собственный набор данных из 500 тыс. изображений сервиса.

Как описывает NPR, «команда добавила в программу дополнительные элементы, в том числе один, который помогал ИИ классифицировать изображения по их положению на земном шаре».

Для проверки PIGEON её создатели устроили «спарринг» для своей нейросети и легенды GeoGuessr Тревора Рэйнболта: «Мы не были первым ИИ, который играл против Рэйнболта. Мы всего лишь первый ИИ, который победил Рэйнболта».

У PIGEON есть много сценариев использования: от определения местоположения на старых снимках до быстрых исследований (например, на предмет присутствия инвазивных видов растений). Недостаток — PIGEON может раскрывать ту информацию о людях, которой они никогда не собирались делиться. По мнению Джея Стэнли, старшего политического аналитика Американского союза гражданских свобод, изучающего технологии, компании и правительства смогут использовать ИИ, чтобы узнавать, какие страны и регионы посещали люди; а злоумышленникам подобные разработки помогут в преследовании своих жертв. И удаление геометок с фотографий уже не защитит конфиденциальность.

Аспиранты Стэнфорда осознают риски, которые несёт их разработка. Они написали статью в соавторстве со своим профессором Челси Финн, но воздержались от обнародования полной модели именно из-за этих опасений.

У Google уже есть функция, известная как «оценка местоположения», которая использует ИИ для определения геолокации по фотографии. В настоящее время в ней используется только каталог, содержащий примерно миллион достопримечательностей, а не 220 млрд изображений улиц, которые собрал Google. Компания сообщила NPR, что пользователи могут отключить эту функцию.