Инструменты · генератор
Конструктор robots.txt и llms.txt
Соберите понятные файлы для поисковых и AI-краулеров, с безопасными комментариями к правилам.
Готовые файлы
Дальше
Файлы — это только вход. Видимость в AI зависит от контента
Проверю, что видят краулеры на вашем сайте, и что мешает цитированию в ответах.
Что делает генератор
robots.txt — правила обхода. В базовом варианте открыт весь сайт, закрыты
служебные разделы /admin/ и /api/, а также указан адрес
карты сайта. Если вы разрешаете AI-краулеров, в файл добавляются отдельные блоки для
GPTBot, ClaudeBot, PerplexityBot и Google-Extended: так видно, что доступ открыт
осознанно, а не по умолчанию.
llms.txt — короткая карта для языковых моделей: заголовок, одна строка о компании и ссылки на главные разделы с пояснением, что там лежит. Формат простой, поэтому его легко поддерживать в актуальном состоянии.
Чего генератор не делает. Он не проверяет ваш реальный robots.txt, не подставляет настоящие разделы и не гарантирует цитирование в ответах AI. Перед публикацией сверьте пути с фактической структурой сайта: закрывать стоит только то, что действительно не должно попадать в индекс.
Для AI-видимости важнее содержание страниц: факты, цифры, авторство и понятная структура. Файлы лишь снимают технические барьеры.
Что писать в robots.txt для AI-краулеров
Разрешение обхода — не то же самое, что попадание в ответ. GPTBot, ClaudeBot, PerplexityBot и Google-Extended собирают контент, но модель может не процитировать страницу: для цитирования важны факты, структура и понятные формулировки. Закрывать краулеров имеет смысл, если контент платный или содержит персональные данные.
Порядок правил. Сначала общий User-agent: *, затем отдельные блоки
для конкретных краулеров: так проще читать файл и проверять, что ни один раздел не
открыт случайно. Служебные пути вроде /admin/ и /api/ закрывайте
всегда — они не несут пользы ни поиску, ни моделям.
llms.txt. Формат без строгой спецификации: заголовок, одна строка о компании и ссылки на ключевые разделы. Он помогает модели быстро понять, что вы делаете, но не заменяет разметку и контент страниц.
Проверяйте файл после публикации: /robots.txt должен отдавать 200 и
корректный text/plain. Ошибка в одном символе может закрыть весь сайт.