Запрет на индексацию сайтов нейросетями

Суть конфликта до смешного проста. Последние 25 лет действовала негласная сделка между поисковиками и производтелями контента. Google и ему подобные бесплатно индексировали содержимое сайтов, а взамен щедро отправляли на них толпы пользователей. Реклама и подписки кормили издателей, те производили новый контент, и колесо интернета крутилось. Но затем появились щедрые ИИ-помощники вроде ChatGPT и AI Overviews (Обзор от ИИ) от самого Google, которые любезно выдают ответ прямо в окне чата, избавляя пользователя от утомительного перехода по ссылке. Зачем идти на сайт, если нейросеть уже пережевала для вас всё самое вкусное?

Проблема в том, что жуют они, понятное дело, не воздух. Всё тот же чужой контент, только теперь — не приводя никого на сайт. Издателям такое положение дел не по душе, да и кому понравится, когда трафик падает, а счета за хостинг приходят как ни в чем не бывало? Один сайт с обзорами товаров, например, пережил 1.6 миллиона сканирований ботами за день, а реальных пользователей увидел всего 603. Цифры, от которых плачут даже самые черствые SEO-специалисты.

Большая перезагрузка по версии IETF

В IETF предложили простое решение, дескать, давайте официально разделим «поисковых ботов» (тех, что работают по старой схеме и приводят людей) и «ИИ-ботов» (тех, что просто высасывают соки для тренировки моделей и генерации ответов). И дадим владельцам сайтов право пускать первых и начисто блокировать вторых.

Естественно, технологические гиганты, которые видят в бесплатном контенте воздух для своих многомиллиардных доходов, пришли в ярость. В ход пошли письма в рабочую группу с аргументами уровня «да мы уже сто лет используем ИИ в поиске, как вы можете его отделить? Это же неразделимо!». Юристы OpenAI и вовсе намекнули, что эти стандарты могут потом всплыть в кабинетах регуляторов, что звучит как элегантная угроза.

Но, кажется, их немного подсидели. К сентябрю лоббистам из Big Tech удалось выхолостить предложение, убив категорию «ИИ-использование» из черновика стандарта. Однако самое важное — «особый статус» для классического поиска, который обязан вести пользователя на исходный сайт, — осталось нетронутым. Это значит, что такие штуки, как AI Overviews от Google, которые занимаются объединением данных, но не ведут на сайт, теоретически можно будет отсечь.

А что же Россия? Наш рынок на пороге больших событий

Мечта наших отечественных издателей и правообладателей «заблокировать ChatGPT» может воплотиться в реальности. Если стандарт IETF примут, у «ВКонтакте», «Яндекса» или Rambler появится не только моральное, но и техническое право сказать западным ИИ-ботам: «Ребята, вас сюда не пускали, проходим мимо». Это резко усилит позиции наших игроков на переговорах о доступе к данным.

Если глобальные площадки лишатся доступа к русскоязычному контенту для обучения своих моделей, это создаст гигантское конкурентное окно для отечественных ИИ-продуктов. «Яндекс» с его уже встроенным в поиск ассистентом «Алисой» и другими разработками окажется в привилегированном положении, ведь у него есть и данные, и легальный доступ к ним. Он может стать главным и почти единственным «кормильцем» для обучения русскоязычных нейросетей.

Российские издатели, наконец-то, получат долгожданный козырь: возможность не просто просить деньги за свой контент, а технически не давать его тем, кто не платит. Это может привести к появлению премиальных сделок между крупными медиа и IT-компаниями. Правда, небольшие сайты могут и проиграть, оставшись без внимания и ботов, и пользователей.

В худшем сценарии мы получим эдакий цифровой «национал-сепаратизм», где западные модели искусственного интеллекта будут говорить на устаревшем русском, а наши — вариться в собственном соку. В лучшем — рыночные отношения, где за качественный контент наконец-то начнут платить. Пока же за развитием событий в IETF стоит наблюдать как за высокотехнологичным вестерном. В котором, как это часто у нас бывает, решение какой-то международной группы инженеров в итоге определит, будем ли мы тыкать в гугловскую панель с ответами или все-таки ходить по ссылкам, как цивилизованные люди.