Яндекс месяц не перечитывает карту сайта: семь причин и почему пинг не спасает

Вебмастер месяц показывает, что моя карта читалась 6 октября и в ней 209 адресов. Сейчас в ней 311. Рассказываю, что я проверил, какие семь причин обычно мешают и почему пинг ничего не гарантирует.

Открываю Яндекс.Вебмастер, раздел «Файлы Sitemap». Последнее чтение было 6 октября, в карте 209 адресов. Смотрю на календарь, потом снова на экран. Прошёл месяц, а я за это время написал столько статей, что в карте их давно больше.

Пятнадцать лет в SEO не делают человека спокойнее. Они просто учат сначала проверять очевидное, а потом уже ругаться.

Сначала проверяю то, за что стыдно

Когда поисковик не видит файл, я первым делом подозреваю себя. Обычно виноват я: забытый редирект, кривой заголовок, кэш, который живёт дольше, чем нужно.

Проверка занимает минут десять. Открываю /sitemap.xml в браузере и в консоли, смотрю код ответа и заголовки, считаю адреса, пробегаю глазами по lastmod. Как я собираю саму карту, подробно описал в статье о создании sitemap. Повторять не буду, только результаты.

Что проверялЧто нашёл
Код ответа /sitemap.xml200, без редиректов
Заголовки ответаНет noindex, нет вечного no-store
Количество адресов311 при 159 статьях, остальное служебные и разделы
Разброс lastmodЧестный, даты разные, по реальным правкам
Что видит Яндекс209 адресов, чтение 6 октября

Всё чисто. Это хуже, чем если бы я нашёл ошибку: ошибку можно исправить за вечер, а с чистым результатом остаётся только ждать.

Семь причин, по которым карта не читается

Семь причин, по которым карта не читается

Мой случай выглядит исключением, но обычно причина находится. Вот что я встречал на чужих сайтах. Я свёл всё в семь пунктов, потому что две проблемы с robots.txt удобнее держать вместе.

Перелинковку новых статей со старыми я тоже веду, но давно, так что это скорее привычка, чем реакция на проблему

— Олег Ветров, автор блога
  1. Файл отдаёт не 200. Редирект с http на https, со слеша без слеша или честный 404 после переезда. Робот видит не карту, а дорогу к ней, и дальше не идёт.
  2. Карта закрыта в robots.txt. Строка Disallow, написанная для чего-то другого, случайно накрывает и sitemap. Встречается чаще, чем хочется признавать.
  3. В карте лежат неканонические адреса. Страницы с параметрами, дубли, адреса, у которых canonical ведёт в другое место. Поисковик быстро понимает, что карте нельзя верить, и перестаёт торопиться.
  4. Все lastmod одинаковые. Генератор ставит дату сборки каждому адресу. Получается, что вчера обновился весь сайт целиком, а такому сигналу никто не верит.
  5. Карта генерируется на лету и падает по таймауту. У вас она открывается за секунду, потому что кэш тёплый. Робот приходит в неудачный момент и получает ошибку.
  6. В robots.txt указан старый адрес карты или отдаётся неверный Content-Type. Сюда же отношу ситуацию, когда сервер отдаёт XML как обычный текст или HTML.
  7. Слишком большой файл без разбивки. Один огромный sitemap вместо индекса с несколькими частями. Читать его долго, и робот может бросить на середине.

Если хоть один пункт про вас, дальше можно не читать. Сначала исправьте его.

Пинг просит, а не заставляет

Когда всё проверено, рука тянется к пингу. Я отправлял запрос на `https://yandex.ru/ping?sitemap=...` и получал 200. Красиво, быстро, с ощущением сделанного дела.

Перечитывания после этого не было.

Код 200 в ответ на пинг означает одно: сервер принял запрос. Он не обещает, что робот придёт сегодня, завтра или в этом месяце. Пинг работает как звонок в дверь соседу: вы позвонили, звонок исправен, а открывать или нет, решает сосед. В моём случае сосед не открывает уже около тридцати дней.

Я отправил пинг несколько раз за месяц. Результат на всех попытках одинаковый: 200, тишина и те же 209 адресов.

Что делать, если всё правильно, а робот не идёт

Тут начинается работа, которая к карте имеет косвенное отношение. Карта для робота подсказка, а не единственный путь, и подсказку он может проигнорировать.

Что помогает:

  • Ручной переобход важных страниц через Вебмастер. Лимит есть, поэтому отправляю не всё подряд, а новые и обновлённые.
  • Ссылки на новые страницы из старых. Робот регулярно ходит по проиндексированным статьям и находит новые адреса по ссылкам.
  • Обновление карты без смены дат у всех адресов. Новый lastmod ставится только тем страницам, которые реально изменились. Иначе возвращаемся к четвёртой причине.
  • Проверка robots и зеркал. Не склеилось ли что-то странно, не смотрит ли Яндекс на другую версию сайта, не указан ли в robots.txt чужой хост.

Карта сайта — это записка роботу, а не пропуск. Если записку не читают, носите её в руках: ссылками, переобходом, свежими страницами рядом со старыми.

Последний пункт я проверил дважды. Зеркало одно, robots.txt ссылается на правильную карту.

Мой порядок действий

Сделано: код ответа, заголовки, состав карты, честные lastmod, пинг, robots.txt. Перелинковку новых статей со старыми я тоже веду, но давно, так что это скорее привычка, чем реакция на проблему.

Картина в Яндексе на сейчас такая: 205 страниц в поиске, 33 исключённых, ИКС 20. И отдельно цифра, ради которой я вообще полез разбираться: три недели ноль показов. Не мало, а ноль.

Осталось два шага. Первый: ручной переобход новых статей, которых нет среди 209 прочитанных адресов. Второй: разобрать 33 исключённых страницы по одной и понять причину по каждой. Если там окажутся дубли или неканонические адреса, это может быть сигналом, который тянет за собой весь сайт. Если со своим сайтом разбираться некогда, такие вещи я смотрю в рамках аудита.

Чего я не знаю

Чего я не знаю

Внутренних причин Яндекса я не знаю. Никто снаружи их не знает, сколько бы уверенных статей ни было написано. Я вижу только последствия: дату, число адресов и ноль показов.

Второе ограничение тоже честное. На маленьком сайте с хорошей перелинковкой карта может быть не нужна вовсе: робот найдёт всё по ссылкам. 159 статей уже не совсем маленький сайт, но и не тот масштаб, где без карты страницы теряются.

Третье. Google читает ту же самую карту нормально. За 28 дней у меня там 106 кликов и 5 369 показов, CTR 1,97%. Файл один, сервер один, заголовки одинаковые. Если бы карта была сломана, Google бы тоже споткнулся. Значит, вопрос не в файле, а в том, как Яндекс сейчас относится к сайту. Это неприятнее, потому что исправляется не одной строкой.

Что я делаю завтра утром

Открываю Вебмастер, «Переобход страниц». Вставляю адреса статей, опубликованных после 6 октября, начиная с самых свежих. Потом выгружаю список из 33 исключённых и сортирую его по причине исключения.

Первой в этом списке будет страница, которую я обновлял последней.

Читать дальше

Проверка

Посмотреть, где теряется трафик

SEO-аудит страницы: 28 автоматических проверок — от индексации до микроразметки. Без регистрации, список приоритетов сразу.