Открываю Яндекс.Вебмастер, раздел «Файлы Sitemap». Последнее чтение было 6 октября, в карте 209 адресов. Смотрю на календарь, потом снова на экран. Прошёл месяц, а я за это время написал столько статей, что в карте их давно больше.
Пятнадцать лет в SEO не делают человека спокойнее. Они просто учат сначала проверять очевидное, а потом уже ругаться.
Сначала проверяю то, за что стыдно
Когда поисковик не видит файл, я первым делом подозреваю себя. Обычно виноват я: забытый редирект, кривой заголовок, кэш, который живёт дольше, чем нужно.
Проверка занимает минут десять. Открываю /sitemap.xml в браузере и в консоли, смотрю код ответа и заголовки, считаю адреса, пробегаю глазами по lastmod. Как я собираю саму карту, подробно описал в статье о создании sitemap. Повторять не буду, только результаты.
| Что проверял | Что нашёл |
|---|---|
| Код ответа /sitemap.xml | 200, без редиректов |
| Заголовки ответа | Нет noindex, нет вечного no-store |
| Количество адресов | 311 при 159 статьях, остальное служебные и разделы |
| Разброс lastmod | Честный, даты разные, по реальным правкам |
| Что видит Яндекс | 209 адресов, чтение 6 октября |
Всё чисто. Это хуже, чем если бы я нашёл ошибку: ошибку можно исправить за вечер, а с чистым результатом остаётся только ждать.
Семь причин, по которым карта не читается
Мой случай выглядит исключением, но обычно причина находится. Вот что я встречал на чужих сайтах. Я свёл всё в семь пунктов, потому что две проблемы с robots.txt удобнее держать вместе.
Перелинковку новых статей со старыми я тоже веду, но давно, так что это скорее привычка, чем реакция на проблему
- Файл отдаёт не 200. Редирект с http на https, со слеша без слеша или честный 404 после переезда. Робот видит не карту, а дорогу к ней, и дальше не идёт.
- Карта закрыта в robots.txt. Строка Disallow, написанная для чего-то другого, случайно накрывает и sitemap. Встречается чаще, чем хочется признавать.
- В карте лежат неканонические адреса. Страницы с параметрами, дубли, адреса, у которых canonical ведёт в другое место. Поисковик быстро понимает, что карте нельзя верить, и перестаёт торопиться.
- Все lastmod одинаковые. Генератор ставит дату сборки каждому адресу. Получается, что вчера обновился весь сайт целиком, а такому сигналу никто не верит.
- Карта генерируется на лету и падает по таймауту. У вас она открывается за секунду, потому что кэш тёплый. Робот приходит в неудачный момент и получает ошибку.
- В robots.txt указан старый адрес карты или отдаётся неверный Content-Type. Сюда же отношу ситуацию, когда сервер отдаёт XML как обычный текст или HTML.
- Слишком большой файл без разбивки. Один огромный sitemap вместо индекса с несколькими частями. Читать его долго, и робот может бросить на середине.
Если хоть один пункт про вас, дальше можно не читать. Сначала исправьте его.
Пинг просит, а не заставляет
Когда всё проверено, рука тянется к пингу. Я отправлял запрос на `https://yandex.ru/ping?sitemap=...` и получал 200. Красиво, быстро, с ощущением сделанного дела.
Перечитывания после этого не было.
Код 200 в ответ на пинг означает одно: сервер принял запрос. Он не обещает, что робот придёт сегодня, завтра или в этом месяце. Пинг работает как звонок в дверь соседу: вы позвонили, звонок исправен, а открывать или нет, решает сосед. В моём случае сосед не открывает уже около тридцати дней.
Я отправил пинг несколько раз за месяц. Результат на всех попытках одинаковый: 200, тишина и те же 209 адресов.
Что делать, если всё правильно, а робот не идёт
Тут начинается работа, которая к карте имеет косвенное отношение. Карта для робота подсказка, а не единственный путь, и подсказку он может проигнорировать.
Что помогает:
- Ручной переобход важных страниц через Вебмастер. Лимит есть, поэтому отправляю не всё подряд, а новые и обновлённые.
- Ссылки на новые страницы из старых. Робот регулярно ходит по проиндексированным статьям и находит новые адреса по ссылкам.
- Обновление карты без смены дат у всех адресов. Новый lastmod ставится только тем страницам, которые реально изменились. Иначе возвращаемся к четвёртой причине.
- Проверка robots и зеркал. Не склеилось ли что-то странно, не смотрит ли Яндекс на другую версию сайта, не указан ли в robots.txt чужой хост.
Карта сайта — это записка роботу, а не пропуск. Если записку не читают, носите её в руках: ссылками, переобходом, свежими страницами рядом со старыми.
Последний пункт я проверил дважды. Зеркало одно, robots.txt ссылается на правильную карту.
Мой порядок действий
Сделано: код ответа, заголовки, состав карты, честные lastmod, пинг, robots.txt. Перелинковку новых статей со старыми я тоже веду, но давно, так что это скорее привычка, чем реакция на проблему.
Картина в Яндексе на сейчас такая: 205 страниц в поиске, 33 исключённых, ИКС 20. И отдельно цифра, ради которой я вообще полез разбираться: три недели ноль показов. Не мало, а ноль.
Осталось два шага. Первый: ручной переобход новых статей, которых нет среди 209 прочитанных адресов. Второй: разобрать 33 исключённых страницы по одной и понять причину по каждой. Если там окажутся дубли или неканонические адреса, это может быть сигналом, который тянет за собой весь сайт. Если со своим сайтом разбираться некогда, такие вещи я смотрю в рамках аудита.
Чего я не знаю
Внутренних причин Яндекса я не знаю. Никто снаружи их не знает, сколько бы уверенных статей ни было написано. Я вижу только последствия: дату, число адресов и ноль показов.
Второе ограничение тоже честное. На маленьком сайте с хорошей перелинковкой карта может быть не нужна вовсе: робот найдёт всё по ссылкам. 159 статей уже не совсем маленький сайт, но и не тот масштаб, где без карты страницы теряются.
Третье. Google читает ту же самую карту нормально. За 28 дней у меня там 106 кликов и 5 369 показов, CTR 1,97%. Файл один, сервер один, заголовки одинаковые. Если бы карта была сломана, Google бы тоже споткнулся. Значит, вопрос не в файле, а в том, как Яндекс сейчас относится к сайту. Это неприятнее, потому что исправляется не одной строкой.
Что я делаю завтра утром
Открываю Вебмастер, «Переобход страниц». Вставляю адреса статей, опубликованных после 6 октября, начиная с самых свежих. Потом выгружаю список из 33 исключённых и сортирую его по причине исключения.
Первой в этом списке будет страница, которую я обновлял последней.