Если сайт хочет попадать в ответы ChatGPT, Gemini, Perplexity или ЯндексGPT, мало красиво оформленных страниц — нужно, чтобы AI-боты вообще могли их прочитать. Часть владельцев сайтов случайно блокирует этих ботов «на всякий случай» вместе с парсерами спама, а часть вообще не знает, что такие боты существуют. В этом уроке разберём, какие краулеры стоит пускать, как это прописать в robots.txt и зачем появился llms.txt.
Кто есть кто среди AI-краулеров
У каждой крупной AI-компании свой бот, и у каждого бота своя задача. Один собирает данные для обучения моделей, другой — для живого поиска с цитированием источников. Разница принципиальная: если заблокировать бота, который формирует индекс для ответов в реальном времени, сайт просто не появится в выдаче ChatGPT Search или Perplexity, даже если контент хороший.
| Краулер | Чей | Что делает |
|---|---|---|
| GPTBot | OpenAI | Сбор данных для обучения моделей GPT |
| OAI-SearchBot | OpenAI | Индексация для ChatGPT Search — ответы со ссылками на источники |
| ClaudeBot | Anthropic | Обучение моделей Claude |
| PerplexityBot | Perplexity AI | Поиск и цитирование в ответах Perplexity |
| Google-Extended | Данные для Gemini и AI Overviews, отдельно от обычного поиска | |
| YandexGPT / YaDirectBot | Яндекс | Обучение и работа ЯндексGPT, Алисы |
Google-Extended — не Googlebot
Самая частая ошибка — думать, что запрет Google-Extended как-то влияет на обычный поиск Google. Это не так. Googlebot индексирует сайт для классической выдачи. Google-Extended — отдельный токен, который разрешает или запрещает использовать контент сайта в Gemini и AI Overviews. Закрыли Google-Extended — позиции в поиске не пострадают, но шанс попасть в AI-ответы Google исчезнет.
Закрывать AI-краулеров «на всякий случай» — это добровольно выйти из выдачи, которую пользователи видят раньше обычных ссылок.
robots.txt для AI-ботов: пошагово
robots.txt остаётся основным способом сказать боту, что ему можно и нельзя. Для AI-краулеров работает та же синтаксическая логика, что и для Googlebot, только user-agent свой у каждого.
- Откройте файл robots.txt в корне сайта (site.ru/robots.txt). Если его нет — создайте текстовый файл с этим именем и загрузите в корневую папку.
- Для каждого бота, которого хотите пустить, добавьте отдельный блок: User-agent: GPTBot и строкой ниже Allow: /.
- Если каким-то разделом делиться не хотите — например, админкой или корзиной — пропишите Disallow: /cart/ именно в блоке нужного бота, а не глобально.
- Проверьте, что не осталось общей директивы Disallow: / под User-agent: *, которая блокирует вообще всех, включая AI-ботов, если для них нет отдельного разрешающего блока.
- Сохраните файл и проверьте синтаксис через /seo-audit.html — инструмент покажет, какие директивы реально читаются краулерами.
- Через 3–5 дней проверьте логи сервера на обращения нужных ботов (как это делать — в следующем разделе).
Пример минимального блока, который разрешает основным AI-ботам читать весь сайт:
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Google-Extended Allow: / User-agent: YandexGPT Allow: /
llms.txt — новый файл для AI-систем
robots.txt говорит «можно или нельзя заходить». llms.txt — это попытка сказать «а вот что у меня важное и как это понимать». Файл появился в 2024 году как предложение стандарта: простой markdown-документ в корне сайта (site.ru/llms.txt), где перечислены ключевые страницы, короткое описание сайта и ссылки на самое значимое — каталог услуг, документацию, цены.
Официального подтверждения, что все AI-компании обязательно читают этот файл, пока нет — часть систем его учитывает, часть игнорирует. Но файл дешёвый в создании и не мешает тем, кто его не использует. Структура обычно такая:
- Заголовок с названием компании и одной строкой описания, чем занимается бизнес
- Раздел со ссылками на основные страницы — услуги, цены, контакты
- Раздел с документацией или базой знаний, если есть
- Опционально — раздел, что НЕ нужно использовать для ответов (устаревшие акции, архив блога)
Собрать такой файл вручную — 15 минут для небольшого сайта. Для каталога из сотен страниц удобнее сначала сгруппировать запросы и разделы через /keyword-clustering.html, а потом уже решать, что выносить в llms.txt как приоритетное. Готовый шаблон robots.txt и llms.txt одновременно можно собрать через /generator-robots-llms.html — он учитывает актуальные user-agent всех основных ботов.
Как проверить, что бот действительно заходит, и частые ошибки
Прописать правила в robots.txt — это полдела. Боты не обязаны соблюдать разрешения мгновенно, а некоторые вообще заходят редко. Проверить реальные визиты можно через логи сервера (раздел access logs в хостинге или панели вроде cPanel) — ищите строки с user-agent вроде "GPTBot/1.0" или "ClaudeBot". Если за две-три недели таких записей нет при разрешающих правилах — возможно, боту просто неинтересен сайт из-за низкой цитируемости, а не из-за технической блокировки.
Частые ошибки
- Закрыть всех ботов через User-agent: * / Disallow: / «на всякий случай от воровства контента» — вместе с ворами блокируется и доступ к AI-выдаче
- Спутать Google-Extended с Googlebot и решить, что запрет первого уронит позиции в обычном поиске
- Прописать правила в robots.txt, но не обновить файл на продакшене — осталась тестовая версия с полным запретом
- Забыть, что некоторые CMS генерируют robots.txt автоматически и перезаписывают ручные правки при обновлении плагина
- Создать llms.txt один раз и не обновлять при изменении структуры сайта — ссылки ведут на удалённые страницы
- Ожидать мгновенного появления в ответах ChatGPT сразу после разрешения доступа — краулеры заходят с разной периодичностью, от нескольких дней до нескольких недель
Отдельно стоит сверить, что технические правила не противоречат содержательной готовности страниц. Если текст рыхлый и не отвечает на вопрос пользователя конкретно, разрешённый доступ бота ничего не даст — его просто нечем будет процитировать. Проверить структуру коммерческих страниц под такие сценарии можно по чек-листу /commercial-factors-checklist.html.
Что сделать на своём сайте
- Откройте текущий robots.txt и проверьте, нет ли там блокировки User-agent: *, которая случайно закрывает всех AI-ботов
- Добавьте отдельные разрешающие блоки для GPTBot, ClaudeBot, PerplexityBot, Google-Extended и YandexGPT, закрыв только служебные разделы вроде корзины и админки
- Соберите корректный robots.txt и файл llms.txt через /generator-robots-llms.html, если делать вручную некогда
- Выгрузите логи сервера за 2–3 недели и проверьте, заходят ли нужные боты — ищите их user-agent в строках запросов
- Проверьте синтаксис итогового robots.txt через /seo-audit.html, чтобы исключить опечатки в директивах
- Перед тем как рассчитывать на цитирование в AI-ответах, пройдитесь по ключевым страницам услуг с чек-листом /commercial-factors-checklist.html — доступ бота не заменяет содержательность текста