Новость про общий сигнал для ИИ-обучения я прочитал утром, а вечером открыл robots.txt на nasloy.ru. Хотел проверить, что я там когда-то наразрешал. Оказалось, про обучение моделей там нет ни слова. Есть только разрешения, два запрета и пара служебных строк.
``` User-agent: * Allow: / Disallow: /api/ Disallow: /preview/ Sitemap: … Host: … ```
Никаких отдельных правил для GPTBot, PerplexityBot, ClaudeBot или CCBot. Пятнадцать лет в профессии, а файл выглядит так, будто его писал оптимист на первом курсе. По сути так и есть: я просто ничего не запрещал.
Что объявили 30 октября
30 октября 2026 года Google сообщил, что планирует поддержать общий сигнал для управления использованием контента при обучении ИИ-моделей. Сам механизм разрабатывает рабочая группа AIPREF при IETF. В работе участвуют Google, OpenAI, Anthropic и Microsoft.
Схема простая. Запрет на обучение можно будет указать в robots.txt, и его будут соблюдать провайдеры, которые этот сигнал поддерживают. Google планирует внедрить поддержку в 2027 году. Отдельные механизмы, включая Google-Extended, продолжат работать.
Раньше каждая компания придумывала свой user-agent и свои правила. Владелец сайта собирал robots.txt, как коллекцию зарядок от разных телефонов. Теперь появится один общий разъём. Но работать он будет только у тех, кто его поддержит, и не раньше 2027 года.
Обучение и ответ — две разные кнопки
На этом месте я ожидаю больше всего ошибок. Многие прочитают новость как «можно закрыться от ИИ» и закроются от всего сразу.
С такими цифрами я не могу позволить себе ни одного лишнего барьера между текстом и читателем
Сигнал AIPREF касается обучения модели. Запрет обучения не исключает сайт из AI Overviews и AI Mode. Обучение модели и показ сайта в ответе — разные процессы. Модель может не учиться на ваших текстах и при этом цитировать вашу страницу со ссылкой, когда отвечает на вопрос пользователя.
| Что запрещаем | Что получаем | Чего лишаемся |
|---|---|---|
| Только обучение (будущий сигнал AIPREF, Google-Extended) | Тексты не идут в обучающие данные у тех, кто соблюдает сигнал | Ничего заметного по видимости в AI Overviews и AI Mode, судя по объявленной логике |
| Обучение и использование в ИИ-ответах (там, где это разделено, как у Bing) | Контент не используется ни для обучения, ни для ответов | Шанса попасть в ИИ-ответ со ссылкой на сайт |
| Конкретных ИИ-краулеров целиком через `Disallow` | Бот не читает сайт вообще | Всего, что этот бот делает: и обучения, и цитирования |
Третья строка — самая частая ошибка. Человек хочет «не кормить нейросети» и закрывает бота, который заодно приводил бы на сайт людей из ответов.
Что отдельно сделал Bing
Microsoft пошла дальше общего сигнала и представила настройки, которые разделяют два сценария:
- training — использование контента для обучения моделей;
- grounding — использование контента для формирования ИИ-ответов.
Grounding можно ограничить только продуктами Microsoft. То есть сказать: «В ваших ответах используйте, а дальше не отдавайте». Новые механизмы применяются с 1 февраля 2027 года.
Вторая дата касается тех, кто когда-то поставил NoArchive или NoCache. Таким сайтам нужно пересмотреть настройки до 1 марта 2027 года, иначе ограничения перестанут работать так, как было задумано. Если у вас на сайте есть эти директивы и вы не помните, зачем их ставили, у вас есть домашнее задание на зиму.
Пять шагов, которые можно сделать уже сейчас
Паниковать не нужно, стандарт ещё в работе. Но порядок в файле лучше навести заранее, а не в марте 2027 года в последний день.
- Откройте текущий robots.txt и прочитайте его целиком. Отметьте, что там упомянуто про ИИ-ботов, а что досталось от прошлого подрядчика.
- Примите решение по каждому типу бота отдельно. Отдельно решите про обучение, про ИИ-ответы и про поисковую индексацию. Это три разных вопроса.
- Не копируйте чужие настройки. Robots.txt медиахолдинга, который судится за контент, не подходит интернет-магазину, которому нужен трафик.
- Запишите решение и причину. Хватит одного абзаца во внутренней документации: «Обучение не закрываем, потому что…». Через год вы не вспомните, почему так сделали.
- Вернитесь к файлу в 2027 году, когда Google включит поддержку, а у Bing вступят в силу новые настройки.
Как собирается сам файл и при чём тут llms.txt, я подробно описывал в материале про настройку сайта для ИИ-краулеров.
Что у меня на nasloy.ru
На сайте 283 адреса в карте, из них 133 статьи в блоге. Есть llms.txt. В robots.txt разрешено всё, кроме `/api/` и `/preview/`.
ИИ-краулеры сайт читают. PerplexityBot за октябрь и ноябрь сделал 1 007 запросов, и среди них был /robots.txt. Он прочитал мои правила, увидел, что ему ничего не запрещено, и пошёл дальше. Про то, как такие боты ходят по RSS и sitemap, я писал в отдельной статье.
Обучение я не закрывал. Причина прагматичная. По моему замеру за 28 дней у сайта 3 450 показов в Google, 28 кликов, CTR 0,81%. С такими цифрами я не могу позволить себе ни одного лишнего барьера между текстом и читателем. Даже если формально запрет обучения на ответы не влияет, я не хочу вручную разделять эти сценарии в файле, где одна опечатка в `Disallow` закрывает больше, чем планировалось.
Для коммерческого сайта запрет обучения почти ничего не даёт, а ошибка в его настройке может стоить видимости в ответах. Сначала посчитайте, что вы защищаете, и только потом ставьте замок.
Если бы я продавал платный архив исследований, я бы рассуждал иначе. Но блог, который живёт за счёт того, что его находят, закрывать от обучения пока незачем. Это касается и большинства коммерческих сайтов, которые я видел.
Чего мы пока не знаем
Стандарт ещё не финальный. В IETF часть участников возражает против отдельных положений, так что формулировки в robots.txt могут измениться до запуска.
Сроки тоже могут сдвинуться. Google говорит «планирует в 2027 году», а это не дата в календаре. У Microsoft даты конкретнее: 1 февраля и 1 марта 2027 года. Но и они относятся к её собственным настройкам, а не к общему стандарту.
И главное: никто пока не измерил, как запрет обучения влияет на видимость сайта. Логика объявлений говорит, что не влияет. Данных нет ни у меня, ни, насколько я вижу, у кого-либо ещё. Поэтому «закрою на всякий случай» — это решение без опоры на цифры. Впрочем, «оставлю открытым» тоже. Разница в том, что второе ничего не ломает.
Одно действие на сегодня
Я завёл в заметках строку: «1 марта 2027 — проверить robots.txt и NoArchive». Под ней написал причину, по которой обучение пока не закрываю: 28 кликов за 28 дней. В файле nasloy.ru сейчас шесть строк, и до 2027 года я менять их не собираюсь.