В воскресенье я открыл логи nasloy.ru, чтобы найти битый редирект. Вместо этого насчитал шесть разных ИИ-ботов, которые спокойно листают мои статьи. Один PerplexityBot за октябрь и ноябрь сделал 1 007 запросов, и среди них был /robots.txt. То есть он вежливо постучал и прочитал табличку на двери. А на табличке у меня одна строка `User-agent: *` и разрешение ходить везде, кроме служебных папок.
Пятнадцать лет в SEO, а файл для ИИ я так и не настроил. Решил исправить и сначала разобраться, кого вообще пускаю.
Кто стучится в дверь
Ботов больше, чем кажется. У части из них понятное назначение, у части известен только владелец. Я свёл всех в одну таблицу, чтобы не путаться.
| Бот | Владелец | Зачем ходит | Что будет, если запретить |
|---|---|---|---|
| GPTBot | OpenAI | Обход для обучения моделей | Тексты не попадут в обучение, поиск ChatGPT не затронут |
| OAI-SearchBot | OpenAI | Поиск для ответов ChatGPT | Сайт может выпасть из ответов с источниками |
| ChatGPT-User | OpenAI | Переход по ссылке по запросу пользователя | Бот не откроет страницу, даже если человек сам дал ссылку |
| ClaudeBot | Anthropic | Обучение | Контент не уйдёт в обучение Claude |
| Claude-User | Anthropic | Переход по запросу пользователя | Claude не прочитает страницу по просьбе человека |
| PerplexityBot | Perplexity | Индексация для ответов | Сайт пропадёт из базы, по которой Perplexity отвечает |
| Google-Extended | Использование контента в обучении Gemini | Обучение Gemini без вас, обычный поиск не меняется | |
| CCBot | Common Crawl | Общий корпус для обучения | Сайт не войдёт в открытый корпус, которым пользуются многие |
| Applebot-Extended | Apple | Обучение | Контент не пойдёт в модели Apple |
| Bytespider | ByteDance | Краулер компании | Влияние на видимость не измерено |
| Amazonbot | Amazon | Краулер компании | Влияние на видимость не измерено |
| Meta-ExternalAgent | Meta | Краулер компании | Влияние на видимость не измерено |
Последние три строки выглядят скучно, и это честно. Владелец известен, а что именно теряешь при запрете, никто не посчитал. Писать там прогнозы я не стал.
Три разрешения, которые все путают
Вокруг ИИ-ботов обычно спорят так, будто бот один и делает одно дело. На деле разрешений три, и они почти не связаны.
У меня нет контрольной группы из двух одинаковых сайтов, где один закрыт, а другой открыт
Первое — обучение. Бот забирает текст, и тот когда-нибудь растворится в весах модели. Ссылки на вас там не будет, трафика тоже. GPTBot, ClaudeBot, CCBot, Applebot-Extended и Google-Extended работают на эту задачу.
Второе — индексация для ответов. Бот кладёт страницу в поисковую базу, и система цитирует её в ответе со ссылкой. Это ближе к обычному поиску, и отсюда приходят клики. Сюда относятся OAI-SearchBot и PerplexityBot.
Третье — переход по ссылке по запросу. Человек вставил ваш URL в чат и попросил пересказать. ChatGPT-User и Claude-User идут на страницу один раз, по конкретной просьбе живого читателя.
Отсюда главное: запрет обучения не выкидывает сайт из ответов. Это хорошо видно на Google. Закрываете Google-Extended — Gemini не учится на ваших текстах, но из AI Overviews и AI Mode вы не пропадаете. Обучение модели и показ сайта в ответе — разные процессы с разными рубильниками.
Что пообещали Google и Microsoft
30 октября 2026 года Google объявил, что поддержит общий сигнал управления использованием контента в robots.txt. Его разрабатывает рабочая группа AIPREF при IETF. Поддержка ожидается в 2027 году, а Google-Extended при этом продолжит работать. Значит, ничего срочно переписывать не нужно: старый рубильник останется, рядом появится общий для всех.
Microsoft пошла своим путём и разделила два сценария: training (обучение) и grounding (цитирование, когда модель опирается на ваш текст при ответе). Новые механизмы действуют с 1 февраля 2027 года. Если на сайте стоят NoArchive или NoCache, настройки надо пересмотреть до 1 марта 2027 года, иначе можно случайно закрыть то, что закрывать не собирались. Подробнее про единый сигнал я писал в разборе AIPREF и robots.txt.
Направление понятное: крупные игроки сами признают, что «учиться на сайте» и «показывать сайт» — две отдельные галочки.
Пять вариантов robots.txt
Готовых решений немного. Я выделил пять, от самого открытого до точечного.
- Разрешить всё. Ничего не добавлять, достаточно `User-agent: *` и `Allow: /`. Так сейчас у меня.
- Запретить только обучение. Закрыть ботов, которые собирают корпус, и оставить поисковых:
``` User-agent: GPTBot Disallow: /
User-agent: ClaudeBot Disallow: /
User-agent: CCBot Disallow: /
User-agent: Google-Extended Disallow: /
User-agent: Applebot-Extended Disallow: / ```
- Запретить всё ИИ. Те же блоки плюс OAI-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Bytespider, Amazonbot, Meta-ExternalAgent. Самый громкий вариант и самый дорогой по трафику.
- Разрешить только OAI-SearchBot и PerplexityBot. Пускаете тех, кто приводит клики со ссылкой, остальных закрываете:
``` User-agent: OAI-SearchBot Allow: /
User-agent: PerplexityBot Allow: /
User-agent: GPTBot Disallow: / ``` и дальше запреты для остальных по списку.
- Точечно по разделам. Например, закрыть платные материалы для всех ИИ, а блог оставить открытым: `Disallow: /kurs/` в нужных блоках.
Руками всё это легко перепутать, особенно когда блоков десять. Я собрал генератор robots.txt и llms.txt: отмечаете ботов, получаете готовые строки.
Почему я ничего не закрыл
Вот мой файл целиком, без прикрас:
``` User-agent: * Allow: / Disallow: /api/ Disallow: /preview/ Sitemap: https://nasloy.ru/sitemap.xml Host: nasloy.ru ```
Отдельных правил для GPTBot, PerplexityBot, ClaudeBot и CCBot нет. Сначала это была лень, потом я переоформил её в решение задним числом.
Цифры у меня скромные. 151 статья, 301 адрес в карте сайта. За последние 28 дней — 106 кликов при 5 369 показах, CTR около 2%. Это сайт, который пока борется за каждый переход. Закрываться от систем, которые могут процитировать меня со ссылкой, на таких цифрах странно.
Запрет «на всякий случай» — это жест для сайта, которому трафик уже не нужен. Мне он нужен: 106 кликов за месяц легко пересчитать на пальцах.
С обучением сложнее, тут есть честный аргумент «не отдам тексты бесплатно». Но у меня это сайт про SEO и разработку. Если модель лучше объяснит человеку, что такое robots.txt, а потом в ответе со ссылкой всплывёт nasloy.ru, мне это скорее выгодно. У издателя с платной подпиской расчёт будет другим, и это нормально.
Где эта схема может сломаться
Правила меняются прямо сейчас. Google обещает общий сигнал в 2027 году, Microsoft меняет логику с февраля. Файл, написанный сегодня, через год может говорить не совсем то, что вы имели в виду.
Robots.txt — просьба, а не замок. PerplexityBot его читает, это видно в моих логах. Но часть ботов правила не соблюдает, и строчка `Disallow` их не остановит. Если нужна настоящая защита, разговор уже о блокировке на уровне сервера.
И самое неприятное: никто не измерил, как запрет влияет на видимость в ИИ-ответах. У меня нет контрольной группы из двух одинаковых сайтов, где один закрыт, а другой открыт. Поэтому всё, что я пишу про трафик, — логика плюс мои 106 кликов, а не эксперимент.
Что я сделал после этой статьи
Поставил в календарь напоминание на 1 марта 2027 года: проверить NoArchive и NoCache под новые правила Microsoft. Пока у меня их нет, но через полгода я об этом забуду. А в логах завёл фильтр на шесть юзер-агентов, чтобы в следующий раз сравнить с цифрой 1 007 не по памяти.