Один флажок вместо десятка правил: Google и OpenAI поддержат общий запрет на обучение ИИ в robots.txt

Для тех, кто ведёт сайт с артами, переводами или фанфиками, это, пожалуй, самая практичная новость недели об ИИ. 30 октября Google и OpenAI объявили, что будут учитывать общий сигнал в robots.txt, которым владелец сайта может запретить использовать свои страницы для обучения генеративных моделей.

В чём проблема сейчас

Сегодня запрет — это ручная работа. Нужно знать имя краулера каждой компании, прописать отдельное правило для каждого и следить за появлением новых. У Google для этого есть отдельный токен Google-Extended, у OpenAI — свои. Небольшой художник с портфолио на собственном домене такую гонку просто не потянет.

Что предлагают

Новая схема основана на работе группы AIPREF в IETF — организации, которая разрабатывает интернет-стандарты. В robots.txt появится общий «токен политики». Если сайт с его помощью отказывается от обучения и при этом отдельно не разрешает Google-Extended, Google будет считать это запретом и для себя. OpenAI обещает так же уважать сигнал и подчёркивает, что прежние настройки для её краулеров продолжат работать. Можно будет одним флажком закрыться от всех участников или настроить доступ для каждой компании отдельно.

Мои оговорки

Во-первых, всё это пока на словах: Google ориентируется на 2027 год, OpenAI — на «ближайшие месяцы». Во-вторых, участие добровольное, и robots.txt работает лишь как просьба: недобросовестный сборщик данных её просто проигнорирует. В-третьих, речь именно об обучении моделей, а не о любом использовании контента. Тем не менее Google прямо ссылается на европейский Кодекс практик для ИИ, где robots.txt признан основным способом выразить отказ. Значит, у сигнала есть шанс стать настоящим отраслевым стандартом.

Подробности — в блоге Google Search Central и в заявлении OpenAI.