Компания полгода переписывает тексты под ответы нейросетей, размечает сущности, публикует экспертные статьи — и не появляется ни в одном ответе. Потом выясняется, что хостинг-провайдер включил защиту от ботов, и краулеры AI-систем получают ошибку 403 на любой странице. Проверка AI-готовности начинается не с текстов, а с вопроса, может ли робот модели вообще открыть сайт. Урок о том, как это проверить и что делать дальше.
Кто приходит на сайт от AI-систем
У крупных AI-компаний несколько роботов с разными задачами. Это важно: закрыв одного, можно случайно закрыть и другого.
| Задача | Примеры роботов | Что будет, если закрыть |
|---|---|---|
| Сбор данных для обучения | GPTBot, ClaudeBot, CCBot | Контент не попадёт в будущие версии моделей; на ответы с поиском не влияет напрямую |
| Поисковый индекс ассистента | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Сайт не будет показываться и цитироваться в ответах с поиском |
| Открытие страницы по запросу пользователя | ChatGPT-User, Claude-User, Perplexity-User | Ассистент не сможет прочитать ссылку, которую дал ему человек |
| Управляющие токены без отдельного робота | Google-Extended, Applebot-Extended | Запрет использования для обучения, обычный поиск продолжает работать |
Для российского рынка добавляются роботы Яндекса. Основной YandexBot обслуживает и поиск, и ответы Нейро, поэтому закрывать его ради «защиты от нейросетей» бессмысленно: пропадёт весь поиск.
Где робот получает отказ
Проверяю четыре уровня по порядку. Отказ на любом из них перекрывает всю остальную работу.
- robots.txt. Явные запреты для конкретных роботов или общий Disallow, который забыли снять после разработки.
- Защита от ботов у CDN и хостинга. Cloudflare с середины 2025 года по умолчанию блокирует AI-краулеры на новых доменах, у российских провайдеров похожие фильтры включаются отдельной галочкой.
- Файрвол и лимиты запросов. Робот приходит с облачных IP-адресов и делает серию запросов, что похоже на атаку.
- Ответ сервера. Капча, JavaScript-проверка браузера или страница-заглушка с кодом 200, но без контента.
Самый честный тест — посмотреть логи сервера: какие роботы приходили, на какие адреса и с каким кодом ответа. Если логов нет, можно запросить страницу с заголовком User-Agent нужного робота. Это не идеальная проверка, потому что фильтры часто смотрят на IP, но грубые блокировки она находит.
Разбор на примере: логи за неделю
Условный сайт услуг, около 300 страниц, все тексты переписаны под AI-ответы. Видимости в ассистентах нет. Выгрузка логов за неделю:
| Робот | Запросов | Код 200 | Код 403 / капча |
|---|---|---|---|
| YandexBot | 4 120 | 4 080 | 0 |
| Googlebot | 2 960 | 2 930 | 0 |
| OAI-SearchBot | 410 | 0 | 410 |
| ClaudeBot / Claude-SearchBot | 280 | 0 | 280 |
| PerplexityBot | 190 | 0 | 190 |
Все AI-роботы получали отказ от защиты хостинга, классические поисковики проходили, потому что были в белом списке. После добавления AI-роботов в исключения через три недели сайт впервые появился в ответах ChatGPT с поиском, а через два месяца — в 9 из 25 контрольных вопросов. Тексты при этом не менялись.
После доступа: что ещё проверить
- Основной текст приходит в HTML без выполнения JavaScript — об этом урок про рендеринг.
- Факты о компании согласованы между страницами и внешними источниками.
- Ключевые страницы есть в sitemap.xml и не закрыты noindex.
- Есть файл llms.txt с кратким описанием сайта и ссылками на главные разделы. Это пока не стандарт, но некоторые ассистенты его читают.
Решение «пускать или не пускать» AI-роботов — бизнесовое, а не техническое. Но принимать его надо осознанно, а не узнавать постфактум, что его за вас принял хостинг.
Собрать robots.txt с правилами для AI-роботов и llms.txt можно в генераторе robots и llms.txt, а быстро оценить готовность сайта — в GEO-аудите.