Специализация · Техническое SEO и AI-поиск · урок 4 из 4

AI-готовность сайта

Итоговая проверка AI-готовности сайта: доступность, рендеринг, разметка, факты и измерение присутствия в ответах.

  • Уровеньпродвинутый
  • Время14 мин
  • Для когоSEO-специалист, Маркетолог

После урока вы сможете

  • Проводить аудит AI-готовности по чек-листу
  • Расставлять приоритеты исправлений
  • Настраивать регулярный замер присутствия в ответах

Компания полгода переписывает тексты под ответы нейросетей, размечает сущности, публикует экспертные статьи — и не появляется ни в одном ответе. Потом выясняется, что хостинг-провайдер включил защиту от ботов, и краулеры AI-систем получают ошибку 403 на любой странице. Проверка AI-готовности начинается не с текстов, а с вопроса, может ли робот модели вообще открыть сайт. Урок о том, как это проверить и что делать дальше.

Кто приходит на сайт от AI-систем

У крупных AI-компаний несколько роботов с разными задачами. Это важно: закрыв одного, можно случайно закрыть и другого.

ЗадачаПримеры роботовЧто будет, если закрыть
Сбор данных для обученияGPTBot, ClaudeBot, CCBotКонтент не попадёт в будущие версии моделей; на ответы с поиском не влияет напрямую
Поисковый индекс ассистентаOAI-SearchBot, Claude-SearchBot, PerplexityBotСайт не будет показываться и цитироваться в ответах с поиском
Открытие страницы по запросу пользователяChatGPT-User, Claude-User, Perplexity-UserАссистент не сможет прочитать ссылку, которую дал ему человек
Управляющие токены без отдельного роботаGoogle-Extended, Applebot-ExtendedЗапрет использования для обучения, обычный поиск продолжает работать

Для российского рынка добавляются роботы Яндекса. Основной YandexBot обслуживает и поиск, и ответы Нейро, поэтому закрывать его ради «защиты от нейросетей» бессмысленно: пропадёт весь поиск.

Где робот получает отказ

Проверяю четыре уровня по порядку. Отказ на любом из них перекрывает всю остальную работу.

  1. robots.txt. Явные запреты для конкретных роботов или общий Disallow, который забыли снять после разработки.
  2. Защита от ботов у CDN и хостинга. Cloudflare с середины 2025 года по умолчанию блокирует AI-краулеры на новых доменах, у российских провайдеров похожие фильтры включаются отдельной галочкой.
  3. Файрвол и лимиты запросов. Робот приходит с облачных IP-адресов и делает серию запросов, что похоже на атаку.
  4. Ответ сервера. Капча, JavaScript-проверка браузера или страница-заглушка с кодом 200, но без контента.

Самый честный тест — посмотреть логи сервера: какие роботы приходили, на какие адреса и с каким кодом ответа. Если логов нет, можно запросить страницу с заголовком User-Agent нужного робота. Это не идеальная проверка, потому что фильтры часто смотрят на IP, но грубые блокировки она находит.

Разбор на примере: логи за неделю

Условный сайт услуг, около 300 страниц, все тексты переписаны под AI-ответы. Видимости в ассистентах нет. Выгрузка логов за неделю:

РоботЗапросовКод 200Код 403 / капча
YandexBot4 1204 0800
Googlebot2 9602 9300
OAI-SearchBot4100410
ClaudeBot / Claude-SearchBot2800280
PerplexityBot1900190

Все AI-роботы получали отказ от защиты хостинга, классические поисковики проходили, потому что были в белом списке. После добавления AI-роботов в исключения через три недели сайт впервые появился в ответах ChatGPT с поиском, а через два месяца — в 9 из 25 контрольных вопросов. Тексты при этом не менялись.

После доступа: что ещё проверить

  • Основной текст приходит в HTML без выполнения JavaScript — об этом урок про рендеринг.
  • Факты о компании согласованы между страницами и внешними источниками.
  • Ключевые страницы есть в sitemap.xml и не закрыты noindex.
  • Есть файл llms.txt с кратким описанием сайта и ссылками на главные разделы. Это пока не стандарт, но некоторые ассистенты его читают.

Решение «пускать или не пускать» AI-роботов — бизнесовое, а не техническое. Но принимать его надо осознанно, а не узнавать постфактум, что его за вас принял хостинг.

Собрать robots.txt с правилами для AI-роботов и llms.txt можно в генераторе robots и llms.txt, а быстро оценить готовность сайта — в GEO-аудите.

Практика

Сделайте на своём сайте

0 / 5

Отметки сохраняются в этом браузере — можно вернуться к заданию позже.

Частые ошибки

Оптимизировать под одну нейросеть

У разных моделей разные источники. Основа — доступный и проверяемый контент — общая.

Ждать мгновенного эффекта

Модели обновляют данные с задержкой. Замер имеет смысл через 6–8 недель.

Инструменты к уроку