Генератор карты сайта: что внутри записи и почему карту не читают

Карту сайта собрать можно за минуту, а потом месяц смотреть, как Вебмастер показывает старую дату чтения. Разбираю, из чего состоит запись, где проходят лимиты и какие пять ошибок генерации делают карту бесполезной.

Вечер, клиент прислал скриншот из Яндекс.Вебмастера. Карту сайта сгенерировали, отправили, всё по инструкции. В разделе с картами напротив файла стоит дата последнего чтения месячной давности. Число адресов не совпадает с тем, что на сайте. Вопрос в письме короткий: «Оно вообще работает?»

Работает. Только карта вела себя ровно так, как её собрали. Я открыл файл и через пару минут понял, в чём дело. Об этом ниже.

Что карта сайта умеет, а чего от неё ждать не надо

Карта сайта — XML-файл, где каждая запись соответствует одному адресу страницы. Поисковик читает её как подсказку: «вот страницы, которые я считаю важными».

Ускорять индексацию карта не обязана и попадание в индекс не гарантирует. Если страница закрыта noindex, отдаёт редирект или 404, то её присутствие в карте ничего не исправит. Хуже того, такие адреса там вредят: поисковик видит противоречие между картой и реальностью и начинает относиться к файлу с подозрением.

Карта сайта — приглашение, а не пропуск. Поисковик решает сам, заходить или нет, и запоминает, сколько раз приглашение оказалось враньём.

Из чего состоит одна запись

Из чего состоит одна запись

Внутри записи четыре поля, и только одно обязательное.

Поисковик решает сам, заходить или нет, и запоминает, сколько раз приглашение оказалось враньём

— Олег Ветров, автор блога

loc — адрес страницы. Без него записи нет. Адрес должен быть полным и именно тем, по которому страница отвечает кодом 200, без редиректов и лишних хвостов.

lastmod — дата последнего изменения. Из необязательных полей это самое полезное, но лишь при условии, что дата честная. Поменяли текст, цены или блок товаров — дата обновилась. Не меняли — дата стоит прежняя.

changefreq — предполагаемая частота изменений, priority — относительная важность страницы внутри сайта. Оба поля необязательные. Насколько всерьёз поисковики их учитывают, лучше проверить в справке конкретного поисковика. Я на них ничего не строю: если генератор их заполняет, пусть заполняет, но решать проблему индексации через priority бессмысленно.

Если коротко: loc обязателен, честный lastmod полезен, остальное — по желанию.

Лимиты и индексный файл

У Google ограничения такие: до 50 000 адресов в одном файле и до 50 МБ в распакованном виде. Упёрлись хотя бы в одно — карту нужно делить.

Для этого есть индексный файл, обычно его называют sitemap_index.xml. В нём перечислены не страницы, а другие карты: отдельно для товаров, статей, категорий. Поисковику отдаётся один адрес, остальное он находит сам.

С Яндексом осторожнее: его лимиты ниже, чем у Google, и точные значения стоит сверить в справке Вебмастера перед сборкой. Я делю карты с запасом и по смыслу, а не по достижению лимита. Отдельный файл для товаров удобнее отлаживать: сразу видно, какой раздел проседает.

Пять ошибок генерации

У клиента из сцены нашлась первая ошибка из списка. Остальные четыре встречаются не реже.

ОшибкаЧем плохоКак исправить
Одинаковый lastmod у всех адресовДата сборки выдаётся за дату изменения, поисковик перестаёт доверять полю и картеБрать дату из реального изменения контента в базе, а не время запуска генератора
Адреса с редиректамиПоисковик тратит обход на переадресацию, карта расходится с реальными адресамиПодставлять конечный адрес, отдающий 200
Страницы с noindexКарта просит проиндексировать то, что сама страница запрещаетИсключать из генерации всё, что закрыто noindex
Адреса с параметрамиВ карту попадают сортировки, фильтры, метки, дубли размножаютсяОтдавать только канонические адреса без параметров
Карты нет в robots.txtПоисковик может не найти файл, если его не отправили вручнуюДобавить в robots.txt строку Sitemap с полным адресом карты

Одинаковый lastmod — самая коварная из пяти, потому что внешне всё выглядит прилично. Файл валидный, адреса правильные, дата свежая. Только свежая она у всех тысяч страниц сразу, каждый день. Поисковик быстро понимает, что поле ничего не значит. У клиента так и вышло: генератор ставил время сборки, сборка шла по ночам.

Как проверить карту после генерации

Собрать карту — полдела. Перед отправкой я прохожу один и тот же порядок, он занимает минут десять:

  1. Код ответа. Файл карты отдаёт 200, а не редирект и не 404.
  2. Тип содержимого. Сервер отдаёт XML, а не HTML-страницу с ошибкой, оформленную под карту.
  3. Нет noindex на самом файле. Бывает, что заголовок X-Robots-Tag с noindex навешивается на весь сайт, включая карту.
  4. Число адресов. Сверяю с тем, сколько страниц реально должно быть в индексе. Расхождение в разы — повод искать мусор или потери.
  5. Разброс lastmod. Даты должны различаться. Одна дата на весь файл — ошибка из таблицы выше.
  6. Нет редиректов и параметров. Выборочно прогоняю адреса из карты, смотрю коды ответа и ищу знак вопроса в loc.

Если карту собирает наш генератор карты сайта, часть пунктов он закрывает сам, но код ответа и заголовки сервера проверять всё равно придётся: они зависят от хостинга, а не от генератора.

Почему карта не читается

Почему карта не читается

Ситуация «отправил, а дата чтения старая» почти всегда сводится к нескольким причинам. Первым делом смотрю раздел карт в Яндекс.Вебмастере и Google Search Console: там видно дату последнего чтения и число адресов, которые поисковик насчитал в файле. Если число ноль или сильно меньше ожидаемого, проблема в самом файле или в ответе сервера.

Дальше проверяю robots.txt: есть ли строка Sitemap и не закрыт ли путь к карте директивой Disallow. Потом открываю файл так, как его видит робот, и смотрю код ответа, тип содержимого и заголовки. Отдельно ищу случай, когда карта отдаёт 200, а внутри лежит HTML-страница с ошибкой.

Если с технической стороной всё чисто, а поисковик читает файл редко, причина обычно в доверии: одинаковый lastmod, адреса с noindex, редиректы. Поисковик не обязан часто перечитывать карту, которая регулярно сообщает неправду. Подробнее о том, как это выглядит именно в Яндексе, я писал в разборе почему Яндекс не читает sitemap.

Что сделать сегодня

Клиенту я отправил три правки: брать lastmod из даты изменения записи в базе, выкинуть из карты адреса с параметрами, добавить строку Sitemap в robots.txt. Генератор пересобрали, файл отправили заново.

Ваше действие на сегодня такое: откройте свою карту сайта и посмотрите на lastmod у первых двадцати адресов. Если даты одинаковые, остальные проверки можно отложить, начинать надо с этого. Затем откройте раздел карт в Вебмастере и Search Console, запишите дату последнего чтения и число адресов. Через неделю сравните.

Читать дальше

Проверка

Посмотреть, где теряется трафик

SEO-аудит страницы: 28 автоматических проверок — от индексации до микроразметки. Без регистрации, список приоритетов сразу.