Специализация · Техническое SEO и AI-поиск · урок 2 из 4

robots.txt и sitemap

robots.txt и sitemap.xml без мифов: что они реально делают, типовые ошибки и как проверить настройку за десять минут.

  • Уровеньбаза
  • Время12 мин
  • Для когоSEO-специалист

После урока вы сможете

  • Писать robots.txt без случайных блокировок
  • Собирать sitemap только из канонических URL
  • Проверять оба файла инструментами вебмастеров

Два служебных файла в корне сайта отвечают за противоположные вещи. robots.txt говорит роботу, куда ходить нельзя. sitemap.xml подсказывает, какие адреса стоит найти и обойти. Их часто путают и ещё чаще настраивают один раз при запуске, после чего не открывают годами. Урок о том, как они работают на самом деле и какие ошибки встречаются чаще всего.

robots.txt запрещает обход, а не индексацию

Главное заблуждение: закрыть страницу в robots.txt и ждать, что она исчезнет из выдачи. Запрет обхода не удаляет страницу из индекса. Робот перестаёт её посещать и поэтому не видит ни noindex, ни нового содержимого. Если на страницу ведут ссылки, она может остаться в выдаче с пустым сниппетом.

ЗадачаПравильный инструмент
Убрать страницу из поискаmeta robots noindex или заголовок X-Robots-Tag, обход при этом открыт
Не тратить обход на мусорные адресаDisallow в robots.txt для параметров, сортировок, служебных разделов
Склеить дублиКанонический адрес или 301-редирект
Закрыть раздел от всехАвторизация на сервере, а не robots.txt — он публичный и сам раскрывает адреса

Частые ошибки в robots.txt

  • Забытый Disallow: / после разработки. Самая дорогая ошибка из возможных, и встречается на удивление часто.
  • Закрытые CSS и JS. Робот не может отрисовать страницу и оценивает её как сломанную.
  • Clean-param не настроен. Для Яндекса это основной способ сказать, что метки вроде utm_source не меняют содержимое.
  • Правила для конкретного робота перекрывают общие. Если есть блок User-agent: Yandex, общие правила из User-agent: * для Яндекса не действуют вовсе.

sitemap.xml — список того, что вы считаете важным

Карта сайта — не перечень всех адресов, а список канонических страниц, которые вы хотите видеть в поиске. Каждый лишний адрес в ней — сигнал роботу, что вы сами не знаете, что важно.

  • Только страницы с кодом 200, без редиректов и 404.
  • Только канонические адреса, без параметров и дублей.
  • Без страниц с noindex: это противоречие, на которое Вебмастер и Search Console отдельно ругаются.
  • Дата lastmod — реальная дата изменения содержимого, а не дата генерации файла. Если она меняется на всех страницах каждый день, поисковики перестают ей верить.
  • Карта генерируется автоматически при публикации, а не собирается вручную раз в год.

Разбор на примере: сверка sitemap с индексом

Условный интернет-магазин, в sitemap.xml 12 400 адресов. Я сверил карту с реальным состоянием страниц и с отчётом Вебмастера:

Группа адресов в sitemapКоличествоЧто сделали
Рабочие канонические страницы7 900Оставили
Редирект на другой адрес1 650Заменили на конечный адрес
404 — снятые товары1 120Убрали из карты, на сайте — страницы с аналогами
Страницы с noindex980Убрали из карты
Дубли с параметрами750Убрали, добавили Clean-param

Каждый третий адрес в карте был мусором. После чистки карта сократилась до 7 900 адресов, а доля страниц из sitemap в индексе Яндекса за два месяца выросла с 61% до 88%. Робот перестал тратить обход на редиректы и ошибки и чаще заходил на нужные страницы.

robots.txt и sitemap.xml должны рассказывать роботу одну и ту же историю: вот что важно, а вот куда ходить не нужно. Если они противоречат друг другу, робот верит ни тому, ни другому.

Проверить отдельные адреса помогает проверка индексируемости URL, сгенерировать карту — генератор sitemap.

Практика

Сделайте на своём сайте

0 / 5

Отметки сохраняются в этом браузере — можно вернуться к заданию позже.

Частые ошибки

Disallow вместо noindex для удаления из индекса

Закрытая в robots.txt страница может остаться в индексе — робот не увидит noindex.

Один sitemap на сотни тысяч URL без разбиения

Лимит — 50 000 адресов на файл. Разбейте по разделам, чтобы видеть индексацию каждого.

Инструменты к уроку

Следующий урок →