Два служебных файла в корне сайта отвечают за противоположные вещи. robots.txt говорит роботу, куда ходить нельзя. sitemap.xml подсказывает, какие адреса стоит найти и обойти. Их часто путают и ещё чаще настраивают один раз при запуске, после чего не открывают годами. Урок о том, как они работают на самом деле и какие ошибки встречаются чаще всего.
robots.txt запрещает обход, а не индексацию
Главное заблуждение: закрыть страницу в robots.txt и ждать, что она исчезнет из выдачи. Запрет обхода не удаляет страницу из индекса. Робот перестаёт её посещать и поэтому не видит ни noindex, ни нового содержимого. Если на страницу ведут ссылки, она может остаться в выдаче с пустым сниппетом.
| Задача | Правильный инструмент |
|---|---|
| Убрать страницу из поиска | meta robots noindex или заголовок X-Robots-Tag, обход при этом открыт |
| Не тратить обход на мусорные адреса | Disallow в robots.txt для параметров, сортировок, служебных разделов |
| Склеить дубли | Канонический адрес или 301-редирект |
| Закрыть раздел от всех | Авторизация на сервере, а не robots.txt — он публичный и сам раскрывает адреса |
Частые ошибки в robots.txt
- Забытый Disallow: / после разработки. Самая дорогая ошибка из возможных, и встречается на удивление часто.
- Закрытые CSS и JS. Робот не может отрисовать страницу и оценивает её как сломанную.
- Clean-param не настроен. Для Яндекса это основной способ сказать, что метки вроде utm_source не меняют содержимое.
- Правила для конкретного робота перекрывают общие. Если есть блок User-agent: Yandex, общие правила из User-agent: * для Яндекса не действуют вовсе.
sitemap.xml — список того, что вы считаете важным
Карта сайта — не перечень всех адресов, а список канонических страниц, которые вы хотите видеть в поиске. Каждый лишний адрес в ней — сигнал роботу, что вы сами не знаете, что важно.
- Только страницы с кодом 200, без редиректов и 404.
- Только канонические адреса, без параметров и дублей.
- Без страниц с noindex: это противоречие, на которое Вебмастер и Search Console отдельно ругаются.
- Дата lastmod — реальная дата изменения содержимого, а не дата генерации файла. Если она меняется на всех страницах каждый день, поисковики перестают ей верить.
- Карта генерируется автоматически при публикации, а не собирается вручную раз в год.
Разбор на примере: сверка sitemap с индексом
Условный интернет-магазин, в sitemap.xml 12 400 адресов. Я сверил карту с реальным состоянием страниц и с отчётом Вебмастера:
| Группа адресов в sitemap | Количество | Что сделали |
|---|---|---|
| Рабочие канонические страницы | 7 900 | Оставили |
| Редирект на другой адрес | 1 650 | Заменили на конечный адрес |
| 404 — снятые товары | 1 120 | Убрали из карты, на сайте — страницы с аналогами |
| Страницы с noindex | 980 | Убрали из карты |
| Дубли с параметрами | 750 | Убрали, добавили Clean-param |
Каждый третий адрес в карте был мусором. После чистки карта сократилась до 7 900 адресов, а доля страниц из sitemap в индексе Яндекса за два месяца выросла с 61% до 88%. Робот перестал тратить обход на редиректы и ошибки и чаще заходил на нужные страницы.
robots.txt и sitemap.xml должны рассказывать роботу одну и ту же историю: вот что важно, а вот куда ходить не нужно. Если они противоречат друг другу, робот верит ни тому, ни другому.
Проверить отдельные адреса помогает проверка индексируемости URL, сгенерировать карту — генератор sitemap.