Модуль базового курса · GEO и AI-поиск · урок 1 из 2

AI-краулеры, robots.txt и llms.txt

Какие AI-краулеры ходят на сайт, как управлять их доступом через robots.txt и llms.txt и что закрывать нельзя.

  • Уровеньсредний
  • Время16 мин
  • Для когоSEO-специалист

После урока вы сможете

  • Различать поисковых, обучающих и агентских AI-ботов
  • Настраивать доступ осознанно, а не «закрыть всё на всякий случай»
  • Проверять, видят ли боты ключевые страницы

Если сайт хочет попадать в ответы ChatGPT, Gemini, Perplexity или ЯндексGPT, мало красиво оформленных страниц — нужно, чтобы AI-боты вообще могли их прочитать. Часть владельцев сайтов случайно блокирует этих ботов «на всякий случай» вместе с парсерами спама, а часть вообще не знает, что такие боты существуют. В этом уроке разберём, какие краулеры стоит пускать, как это прописать в robots.txt и зачем появился llms.txt.

Кто есть кто среди AI-краулеров

У каждой крупной AI-компании свой бот, и у каждого бота своя задача. Один собирает данные для обучения моделей, другой — для живого поиска с цитированием источников. Разница принципиальная: если заблокировать бота, который формирует индекс для ответов в реальном времени, сайт просто не появится в выдаче ChatGPT Search или Perplexity, даже если контент хороший.

КраулерЧейЧто делает
GPTBotOpenAIСбор данных для обучения моделей GPT
OAI-SearchBotOpenAIИндексация для ChatGPT Search — ответы со ссылками на источники
ClaudeBotAnthropicОбучение моделей Claude
PerplexityBotPerplexity AIПоиск и цитирование в ответах Perplexity
Google-ExtendedGoogleДанные для Gemini и AI Overviews, отдельно от обычного поиска
YandexGPT / YaDirectBotЯндексОбучение и работа ЯндексGPT, Алисы

Google-Extended — не Googlebot

Самая частая ошибка — думать, что запрет Google-Extended как-то влияет на обычный поиск Google. Это не так. Googlebot индексирует сайт для классической выдачи. Google-Extended — отдельный токен, который разрешает или запрещает использовать контент сайта в Gemini и AI Overviews. Закрыли Google-Extended — позиции в поиске не пострадают, но шанс попасть в AI-ответы Google исчезнет.

Закрывать AI-краулеров «на всякий случай» — это добровольно выйти из выдачи, которую пользователи видят раньше обычных ссылок.

robots.txt для AI-ботов: пошагово

robots.txt остаётся основным способом сказать боту, что ему можно и нельзя. Для AI-краулеров работает та же синтаксическая логика, что и для Googlebot, только user-agent свой у каждого.

  1. Откройте файл robots.txt в корне сайта (site.ru/robots.txt). Если его нет — создайте текстовый файл с этим именем и загрузите в корневую папку.
  2. Для каждого бота, которого хотите пустить, добавьте отдельный блок: User-agent: GPTBot и строкой ниже Allow: /.
  3. Если каким-то разделом делиться не хотите — например, админкой или корзиной — пропишите Disallow: /cart/ именно в блоке нужного бота, а не глобально.
  4. Проверьте, что не осталось общей директивы Disallow: / под User-agent: *, которая блокирует вообще всех, включая AI-ботов, если для них нет отдельного разрешающего блока.
  5. Сохраните файл и проверьте синтаксис через /seo-audit.html — инструмент покажет, какие директивы реально читаются краулерами.
  6. Через 3–5 дней проверьте логи сервера на обращения нужных ботов (как это делать — в следующем разделе).

Пример минимального блока, который разрешает основным AI-ботам читать весь сайт:

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: YandexGPT
Allow: /

llms.txt — новый файл для AI-систем

robots.txt говорит «можно или нельзя заходить». llms.txt — это попытка сказать «а вот что у меня важное и как это понимать». Файл появился в 2024 году как предложение стандарта: простой markdown-документ в корне сайта (site.ru/llms.txt), где перечислены ключевые страницы, короткое описание сайта и ссылки на самое значимое — каталог услуг, документацию, цены.

Официального подтверждения, что все AI-компании обязательно читают этот файл, пока нет — часть систем его учитывает, часть игнорирует. Но файл дешёвый в создании и не мешает тем, кто его не использует. Структура обычно такая:

  • Заголовок с названием компании и одной строкой описания, чем занимается бизнес
  • Раздел со ссылками на основные страницы — услуги, цены, контакты
  • Раздел с документацией или базой знаний, если есть
  • Опционально — раздел, что НЕ нужно использовать для ответов (устаревшие акции, архив блога)

Собрать такой файл вручную — 15 минут для небольшого сайта. Для каталога из сотен страниц удобнее сначала сгруппировать запросы и разделы через /keyword-clustering.html, а потом уже решать, что выносить в llms.txt как приоритетное. Готовый шаблон robots.txt и llms.txt одновременно можно собрать через /generator-robots-llms.html — он учитывает актуальные user-agent всех основных ботов.

Как проверить, что бот действительно заходит, и частые ошибки

Прописать правила в robots.txt — это полдела. Боты не обязаны соблюдать разрешения мгновенно, а некоторые вообще заходят редко. Проверить реальные визиты можно через логи сервера (раздел access logs в хостинге или панели вроде cPanel) — ищите строки с user-agent вроде "GPTBot/1.0" или "ClaudeBot". Если за две-три недели таких записей нет при разрешающих правилах — возможно, боту просто неинтересен сайт из-за низкой цитируемости, а не из-за технической блокировки.

Частые ошибки

  • Закрыть всех ботов через User-agent: * / Disallow: / «на всякий случай от воровства контента» — вместе с ворами блокируется и доступ к AI-выдаче
  • Спутать Google-Extended с Googlebot и решить, что запрет первого уронит позиции в обычном поиске
  • Прописать правила в robots.txt, но не обновить файл на продакшене — осталась тестовая версия с полным запретом
  • Забыть, что некоторые CMS генерируют robots.txt автоматически и перезаписывают ручные правки при обновлении плагина
  • Создать llms.txt один раз и не обновлять при изменении структуры сайта — ссылки ведут на удалённые страницы
  • Ожидать мгновенного появления в ответах ChatGPT сразу после разрешения доступа — краулеры заходят с разной периодичностью, от нескольких дней до нескольких недель

Отдельно стоит сверить, что технические правила не противоречат содержательной готовности страниц. Если текст рыхлый и не отвечает на вопрос пользователя конкретно, разрешённый доступ бота ничего не даст — его просто нечем будет процитировать. Проверить структуру коммерческих страниц под такие сценарии можно по чек-листу /commercial-factors-checklist.html.

Что сделать на своём сайте

  • Откройте текущий robots.txt и проверьте, нет ли там блокировки User-agent: *, которая случайно закрывает всех AI-ботов
  • Добавьте отдельные разрешающие блоки для GPTBot, ClaudeBot, PerplexityBot, Google-Extended и YandexGPT, закрыв только служебные разделы вроде корзины и админки
  • Соберите корректный robots.txt и файл llms.txt через /generator-robots-llms.html, если делать вручную некогда
  • Выгрузите логи сервера за 2–3 недели и проверьте, заходят ли нужные боты — ищите их user-agent в строках запросов
  • Проверьте синтаксис итогового robots.txt через /seo-audit.html, чтобы исключить опечатки в директивах
  • Перед тем как рассчитывать на цитирование в AI-ответах, пройдитесь по ключевым страницам услуг с чек-листом /commercial-factors-checklist.html — доступ бота не заменяет содержательность текста

Практика

Сделайте на своём сайте

0 / 5

Отметки сохраняются в этом браузере — можно вернуться к заданию позже.

Частые ошибки

Закрыть все AI-боты одним правилом

Вместе с обучающими ботами закрываются и те, что формируют ответы с ссылками. Место в ответе займёт конкурент.

Считать llms.txt волшебной кнопкой

Это навигация для моделей, а не фактор ранжирования. Без доступного и полезного контента он ничего не даст.

Инструменты к уроку

Следующий урок →