Инструменты · генератор

Конструктор robots.txt и llms.txt

Соберите понятные файлы для поисковых и AI-краулеров, с безопасными комментариями к правилам.

Открытие краулера не гарантирует попадание в ответ AI. Не открывайте закрытые разделы, личные кабинеты или данные пользователей.

Готовые файлы

 

Дальше

Файлы — это только вход. Видимость в AI зависит от контента

Проверю, что видят краулеры на вашем сайте, и что мешает цитированию в ответах.

Что делает генератор

robots.txt — правила обхода. В базовом варианте открыт весь сайт, закрыты служебные разделы /admin/ и /api/, а также указан адрес карты сайта. Если вы разрешаете AI-краулеров, в файл добавляются отдельные блоки для GPTBot, ClaudeBot, PerplexityBot и Google-Extended: так видно, что доступ открыт осознанно, а не по умолчанию.

llms.txt — короткая карта для языковых моделей: заголовок, одна строка о компании и ссылки на главные разделы с пояснением, что там лежит. Формат простой, поэтому его легко поддерживать в актуальном состоянии.

Чего генератор не делает. Он не проверяет ваш реальный robots.txt, не подставляет настоящие разделы и не гарантирует цитирование в ответах AI. Перед публикацией сверьте пути с фактической структурой сайта: закрывать стоит только то, что действительно не должно попадать в индекс.

Для AI-видимости важнее содержание страниц: факты, цифры, авторство и понятная структура. Файлы лишь снимают технические барьеры.

Что писать в robots.txt для AI-краулеров

Разрешение обхода — не то же самое, что попадание в ответ. GPTBot, ClaudeBot, PerplexityBot и Google-Extended собирают контент, но модель может не процитировать страницу: для цитирования важны факты, структура и понятные формулировки. Закрывать краулеров имеет смысл, если контент платный или содержит персональные данные.

Порядок правил. Сначала общий User-agent: *, затем отдельные блоки для конкретных краулеров: так проще читать файл и проверять, что ни один раздел не открыт случайно. Служебные пути вроде /admin/ и /api/ закрывайте всегда — они не несут пользы ни поиску, ни моделям.

llms.txt. Формат без строгой спецификации: заголовок, одна строка о компании и ссылки на ключевые разделы. Он помогает модели быстро понять, что вы делаете, но не заменяет разметку и контент страниц.

Проверяйте файл после публикации: /robots.txt должен отдавать 200 и корректный text/plain. Ошибка в одном символе может закрыть весь сайт.