Вечер, клиент прислал скриншот из Яндекс.Вебмастера. Карту сайта сгенерировали, отправили, всё по инструкции. В разделе с картами напротив файла стоит дата последнего чтения месячной давности. Число адресов не совпадает с тем, что на сайте. Вопрос в письме короткий: «Оно вообще работает?»
Работает. Только карта вела себя ровно так, как её собрали. Я открыл файл и через пару минут понял, в чём дело. Об этом ниже.
Что карта сайта умеет, а чего от неё ждать не надо
Карта сайта — XML-файл, где каждая запись соответствует одному адресу страницы. Поисковик читает её как подсказку: «вот страницы, которые я считаю важными».
Ускорять индексацию карта не обязана и попадание в индекс не гарантирует. Если страница закрыта noindex, отдаёт редирект или 404, то её присутствие в карте ничего не исправит. Хуже того, такие адреса там вредят: поисковик видит противоречие между картой и реальностью и начинает относиться к файлу с подозрением.
Карта сайта — приглашение, а не пропуск. Поисковик решает сам, заходить или нет, и запоминает, сколько раз приглашение оказалось враньём.
Из чего состоит одна запись
Внутри записи четыре поля, и только одно обязательное.
Поисковик решает сам, заходить или нет, и запоминает, сколько раз приглашение оказалось враньём
loc — адрес страницы. Без него записи нет. Адрес должен быть полным и именно тем, по которому страница отвечает кодом 200, без редиректов и лишних хвостов.
lastmod — дата последнего изменения. Из необязательных полей это самое полезное, но лишь при условии, что дата честная. Поменяли текст, цены или блок товаров — дата обновилась. Не меняли — дата стоит прежняя.
changefreq — предполагаемая частота изменений, priority — относительная важность страницы внутри сайта. Оба поля необязательные. Насколько всерьёз поисковики их учитывают, лучше проверить в справке конкретного поисковика. Я на них ничего не строю: если генератор их заполняет, пусть заполняет, но решать проблему индексации через priority бессмысленно.
Если коротко: loc обязателен, честный lastmod полезен, остальное — по желанию.
Лимиты и индексный файл
У Google ограничения такие: до 50 000 адресов в одном файле и до 50 МБ в распакованном виде. Упёрлись хотя бы в одно — карту нужно делить.
Для этого есть индексный файл, обычно его называют sitemap_index.xml. В нём перечислены не страницы, а другие карты: отдельно для товаров, статей, категорий. Поисковику отдаётся один адрес, остальное он находит сам.
С Яндексом осторожнее: его лимиты ниже, чем у Google, и точные значения стоит сверить в справке Вебмастера перед сборкой. Я делю карты с запасом и по смыслу, а не по достижению лимита. Отдельный файл для товаров удобнее отлаживать: сразу видно, какой раздел проседает.
Пять ошибок генерации
У клиента из сцены нашлась первая ошибка из списка. Остальные четыре встречаются не реже.
| Ошибка | Чем плохо | Как исправить |
|---|---|---|
| Одинаковый lastmod у всех адресов | Дата сборки выдаётся за дату изменения, поисковик перестаёт доверять полю и карте | Брать дату из реального изменения контента в базе, а не время запуска генератора |
| Адреса с редиректами | Поисковик тратит обход на переадресацию, карта расходится с реальными адресами | Подставлять конечный адрес, отдающий 200 |
| Страницы с noindex | Карта просит проиндексировать то, что сама страница запрещает | Исключать из генерации всё, что закрыто noindex |
| Адреса с параметрами | В карту попадают сортировки, фильтры, метки, дубли размножаются | Отдавать только канонические адреса без параметров |
| Карты нет в robots.txt | Поисковик может не найти файл, если его не отправили вручную | Добавить в robots.txt строку Sitemap с полным адресом карты |
Одинаковый lastmod — самая коварная из пяти, потому что внешне всё выглядит прилично. Файл валидный, адреса правильные, дата свежая. Только свежая она у всех тысяч страниц сразу, каждый день. Поисковик быстро понимает, что поле ничего не значит. У клиента так и вышло: генератор ставил время сборки, сборка шла по ночам.
Как проверить карту после генерации
Собрать карту — полдела. Перед отправкой я прохожу один и тот же порядок, он занимает минут десять:
- Код ответа. Файл карты отдаёт 200, а не редирект и не 404.
- Тип содержимого. Сервер отдаёт XML, а не HTML-страницу с ошибкой, оформленную под карту.
- Нет noindex на самом файле. Бывает, что заголовок X-Robots-Tag с noindex навешивается на весь сайт, включая карту.
- Число адресов. Сверяю с тем, сколько страниц реально должно быть в индексе. Расхождение в разы — повод искать мусор или потери.
- Разброс lastmod. Даты должны различаться. Одна дата на весь файл — ошибка из таблицы выше.
- Нет редиректов и параметров. Выборочно прогоняю адреса из карты, смотрю коды ответа и ищу знак вопроса в loc.
Если карту собирает наш генератор карты сайта, часть пунктов он закрывает сам, но код ответа и заголовки сервера проверять всё равно придётся: они зависят от хостинга, а не от генератора.
Почему карта не читается
Ситуация «отправил, а дата чтения старая» почти всегда сводится к нескольким причинам. Первым делом смотрю раздел карт в Яндекс.Вебмастере и Google Search Console: там видно дату последнего чтения и число адресов, которые поисковик насчитал в файле. Если число ноль или сильно меньше ожидаемого, проблема в самом файле или в ответе сервера.
Дальше проверяю robots.txt: есть ли строка Sitemap и не закрыт ли путь к карте директивой Disallow. Потом открываю файл так, как его видит робот, и смотрю код ответа, тип содержимого и заголовки. Отдельно ищу случай, когда карта отдаёт 200, а внутри лежит HTML-страница с ошибкой.
Если с технической стороной всё чисто, а поисковик читает файл редко, причина обычно в доверии: одинаковый lastmod, адреса с noindex, редиректы. Поисковик не обязан часто перечитывать карту, которая регулярно сообщает неправду. Подробнее о том, как это выглядит именно в Яндексе, я писал в разборе почему Яндекс не читает sitemap.
Что сделать сегодня
Клиенту я отправил три правки: брать lastmod из даты изменения записи в базе, выкинуть из карты адреса с параметрами, добавить строку Sitemap в robots.txt. Генератор пересобрали, файл отправили заново.
Ваше действие на сегодня такое: откройте свою карту сайта и посмотрите на lastmod у первых двадцати адресов. Если даты одинаковые, остальные проверки можно отложить, начинать надо с этого. Затем откройте раздел карт в Вебмастере и Search Console, запишите дату последнего чтения и число адресов. Через неделю сравните.