ИИ-краулеры в robots.txt: кому что разрешать и почему я не запретил никого

Разбираю, какие ИИ-боты ходят на сайт, чем обучение отличается от индексации для ответов и перехода по ссылке, и почему в моём robots.txt осталась одна звёздочка и ни одного запрета для ИИ.

В воскресенье я открыл логи nasloy.ru, чтобы найти битый редирект. Вместо этого насчитал шесть разных ИИ-ботов, которые спокойно листают мои статьи. Один PerplexityBot за октябрь и ноябрь сделал 1 007 запросов, и среди них был /robots.txt. То есть он вежливо постучал и прочитал табличку на двери. А на табличке у меня одна строка `User-agent: *` и разрешение ходить везде, кроме служебных папок.

Пятнадцать лет в SEO, а файл для ИИ я так и не настроил. Решил исправить и сначала разобраться, кого вообще пускаю.

Кто стучится в дверь

Ботов больше, чем кажется. У части из них понятное назначение, у части известен только владелец. Я свёл всех в одну таблицу, чтобы не путаться.

БотВладелецЗачем ходитЧто будет, если запретить
GPTBotOpenAIОбход для обучения моделейТексты не попадут в обучение, поиск ChatGPT не затронут
OAI-SearchBotOpenAIПоиск для ответов ChatGPTСайт может выпасть из ответов с источниками
ChatGPT-UserOpenAIПереход по ссылке по запросу пользователяБот не откроет страницу, даже если человек сам дал ссылку
ClaudeBotAnthropicОбучениеКонтент не уйдёт в обучение Claude
Claude-UserAnthropicПереход по запросу пользователяClaude не прочитает страницу по просьбе человека
PerplexityBotPerplexityИндексация для ответовСайт пропадёт из базы, по которой Perplexity отвечает
Google-ExtendedGoogleИспользование контента в обучении GeminiОбучение Gemini без вас, обычный поиск не меняется
CCBotCommon CrawlОбщий корпус для обученияСайт не войдёт в открытый корпус, которым пользуются многие
Applebot-ExtendedAppleОбучениеКонтент не пойдёт в модели Apple
BytespiderByteDanceКраулер компанииВлияние на видимость не измерено
AmazonbotAmazonКраулер компанииВлияние на видимость не измерено
Meta-ExternalAgentMetaКраулер компанииВлияние на видимость не измерено

Последние три строки выглядят скучно, и это честно. Владелец известен, а что именно теряешь при запрете, никто не посчитал. Писать там прогнозы я не стал.

Три разрешения, которые все путают

Три разрешения, которые все путают

Вокруг ИИ-ботов обычно спорят так, будто бот один и делает одно дело. На деле разрешений три, и они почти не связаны.

У меня нет контрольной группы из двух одинаковых сайтов, где один закрыт, а другой открыт

— Олег Ветров, автор блога

Первое — обучение. Бот забирает текст, и тот когда-нибудь растворится в весах модели. Ссылки на вас там не будет, трафика тоже. GPTBot, ClaudeBot, CCBot, Applebot-Extended и Google-Extended работают на эту задачу.

Второе — индексация для ответов. Бот кладёт страницу в поисковую базу, и система цитирует её в ответе со ссылкой. Это ближе к обычному поиску, и отсюда приходят клики. Сюда относятся OAI-SearchBot и PerplexityBot.

Третье — переход по ссылке по запросу. Человек вставил ваш URL в чат и попросил пересказать. ChatGPT-User и Claude-User идут на страницу один раз, по конкретной просьбе живого читателя.

Отсюда главное: запрет обучения не выкидывает сайт из ответов. Это хорошо видно на Google. Закрываете Google-Extended — Gemini не учится на ваших текстах, но из AI Overviews и AI Mode вы не пропадаете. Обучение модели и показ сайта в ответе — разные процессы с разными рубильниками.

Что пообещали Google и Microsoft

30 октября 2026 года Google объявил, что поддержит общий сигнал управления использованием контента в robots.txt. Его разрабатывает рабочая группа AIPREF при IETF. Поддержка ожидается в 2027 году, а Google-Extended при этом продолжит работать. Значит, ничего срочно переписывать не нужно: старый рубильник останется, рядом появится общий для всех.

Microsoft пошла своим путём и разделила два сценария: training (обучение) и grounding (цитирование, когда модель опирается на ваш текст при ответе). Новые механизмы действуют с 1 февраля 2027 года. Если на сайте стоят NoArchive или NoCache, настройки надо пересмотреть до 1 марта 2027 года, иначе можно случайно закрыть то, что закрывать не собирались. Подробнее про единый сигнал я писал в разборе AIPREF и robots.txt.

Направление понятное: крупные игроки сами признают, что «учиться на сайте» и «показывать сайт» — две отдельные галочки.

Пять вариантов robots.txt

Готовых решений немного. Я выделил пять, от самого открытого до точечного.

  1. Разрешить всё. Ничего не добавлять, достаточно `User-agent: *` и `Allow: /`. Так сейчас у меня.
  2. Запретить только обучение. Закрыть ботов, которые собирают корпус, и оставить поисковых:

``` User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: CCBot Disallow: /

User-agent: Google-Extended Disallow: /

User-agent: Applebot-Extended Disallow: / ```

  1. Запретить всё ИИ. Те же блоки плюс OAI-SearchBot, PerplexityBot, ChatGPT-User, Claude-User, Bytespider, Amazonbot, Meta-ExternalAgent. Самый громкий вариант и самый дорогой по трафику.
  2. Разрешить только OAI-SearchBot и PerplexityBot. Пускаете тех, кто приводит клики со ссылкой, остальных закрываете:

``` User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: /

User-agent: GPTBot Disallow: / ``` и дальше запреты для остальных по списку.

  1. Точечно по разделам. Например, закрыть платные материалы для всех ИИ, а блог оставить открытым: `Disallow: /kurs/` в нужных блоках.

Руками всё это легко перепутать, особенно когда блоков десять. Я собрал генератор robots.txt и llms.txt: отмечаете ботов, получаете готовые строки.

Почему я ничего не закрыл

Вот мой файл целиком, без прикрас:

``` User-agent: * Allow: / Disallow: /api/ Disallow: /preview/ Sitemap: https://nasloy.ru/sitemap.xml Host: nasloy.ru ```

Отдельных правил для GPTBot, PerplexityBot, ClaudeBot и CCBot нет. Сначала это была лень, потом я переоформил её в решение задним числом.

Цифры у меня скромные. 151 статья, 301 адрес в карте сайта. За последние 28 дней — 106 кликов при 5 369 показах, CTR около 2%. Это сайт, который пока борется за каждый переход. Закрываться от систем, которые могут процитировать меня со ссылкой, на таких цифрах странно.

Запрет «на всякий случай» — это жест для сайта, которому трафик уже не нужен. Мне он нужен: 106 кликов за месяц легко пересчитать на пальцах.

С обучением сложнее, тут есть честный аргумент «не отдам тексты бесплатно». Но у меня это сайт про SEO и разработку. Если модель лучше объяснит человеку, что такое robots.txt, а потом в ответе со ссылкой всплывёт nasloy.ru, мне это скорее выгодно. У издателя с платной подпиской расчёт будет другим, и это нормально.

Где эта схема может сломаться

Где эта схема может сломаться

Правила меняются прямо сейчас. Google обещает общий сигнал в 2027 году, Microsoft меняет логику с февраля. Файл, написанный сегодня, через год может говорить не совсем то, что вы имели в виду.

Robots.txt — просьба, а не замок. PerplexityBot его читает, это видно в моих логах. Но часть ботов правила не соблюдает, и строчка `Disallow` их не остановит. Если нужна настоящая защита, разговор уже о блокировке на уровне сервера.

И самое неприятное: никто не измерил, как запрет влияет на видимость в ИИ-ответах. У меня нет контрольной группы из двух одинаковых сайтов, где один закрыт, а другой открыт. Поэтому всё, что я пишу про трафик, — логика плюс мои 106 кликов, а не эксперимент.

Что я сделал после этой статьи

Поставил в календарь напоминание на 1 марта 2027 года: проверить NoArchive и NoCache под новые правила Microsoft. Пока у меня их нет, но через полгода я об этом забуду. А в логах завёл фильтр на шесть юзер-агентов, чтобы в следующий раз сравнить с цифрой 1 007 не по памяти.

Читать дальше

SEO-инструменты 5 ноября 2026 Запрет на обучение ИИ в robots.txt: о чём договорились Google, OpenAI, Anthropic и Microsoft Крупные ИИ-компании готовят общий сигнал «не обучайте модели на моём сайте» для robots.txt. Объясняю, чем запрет обучения отличается от цитирования в ответах и почему я свой сайт пока не закрываю. SEO-инструменты 17 ноября 2026 llms.txt: что это, как сделать правильно и почему он не поднимет трафик llms.txt лежит в корне моего сайта давно, но внятно объяснить, зачем он там, я смог не сразу. Разбираю формат, правила хорошего файла и мой пример, а заодно объясняю, почему это ставка на будущее, а не рычаг для трафика. Гайды 20 августа 2026 Как настроить сайт для AI-краулеров: robots.txt, llms.txt и Schema.org — пошаговая инструкция Техническое руководство по robots.txt, llms.txt, Schema.org и пререндерингу SPA: как подготовить сайт к чтению ChatGPT, Claude и Perplexity без мифов и лишних запретов.

Проверка

Посмотреть, где теряется трафик

SEO-аудит страницы: 28 автоматических проверок — от индексации до микроразметки. Без регистрации, список приоритетов сразу.