Каталог на 30 тысяч товаров с фильтрами, пагинацией и региональными версиями почти всегда генерирует в разы больше URL, чем кажется владельцу. Робот не обязан обходить всё подряд — у него есть лимит визитов на сайт, и если этот лимит уходит на бесполезные страницы фильтров, новые товары и важные категории попадают в индекс с задержкой в недели. Этот урок — про то, как устроен обход технически и что конкретно чинить руками, чтобы не терять видимость из-за собственной структуры сайта.
Как робот обходит сайт и куда уходит бюджет обхода
Краулинговый бюджет — это количество страниц, которое поисковый робот готов скачать с вашего сайта за определённый период. Он не резиновый и не одинаковый для всех. У сайта с 500 страницами и быстрым сервером бюджет обычно избыточен, проблем нет. А вот у интернет-магазина с 40 тысячами товаров и комбинаторикой фильтров (цвет × размер × бренд × цена) реальное количество URL может превышать 500 тысяч. Робот физически не обойдёт их все за разумный срок.
На размер бюджета влияют три вещи: скорость ответа сервера, частота изменений на сайте и качество страниц, которые робот находит при обходе. Если сервер отвечает за 2–3 секунды вместо 300 мс, Google сокращает число запросов в сутки — буквально бережёт ваш сервер от перегрузки. Если из 10 обойдённых страниц 7 оказываются дублями или пустыми, робот постепенно снижает частоту визитов на весь сайт, не только на проблемные разделы.
Практический пример: магазин стройматериалов, 25 000 SKU, из-за фильтров и сортировок генерируется около 280 000 уникальных URL. В логах сервера видно, что робот Google делает примерно 18 000 запросов в сутки. Несложная арифметика показывает — на обход всего каталога уйдёт больше двух недель, и это при условии, что робот не тратит время на мусор. На деле тратит, и новые товары индексируются на 10–12-й день после публикации вместо одного-двух.
robots.txt, sitemap.xml и canonical — кто за что отвечает
Три инструмента часто путают местами, хотя задачи у них разные.
robots.txt запрещает роботу заходить на страницы — это шлагбаум на въезде. Закрывайте там технические разделы: корзину, личный кабинет, страницы поиска по сайту, служебные параметры вроде ?sort= и ?utm_, если они не нужны для индекса. Ошибка, которую встречаю в каждом втором аудите, — через robots.txt закрывают страницы пагинации или фильтров, которые на самом деле собирают трафик по низкочастотным запросам вроде «кроссовки adidas 42 размер синие». Сначала проверьте, приносит ли страница трафик, потом закрывайте.
sitemap.xml — наоборот, список страниц, которые вы хотите показать роботу в первую очередь. Включайте туда только канонические URL, которые реально нужно индексировать: карточки товаров, категории, статьи. Если в sitemap попадают закрытые в robots.txt страницы или редиректы — это сигнал роботу, что карта сайта неаккуратная, доверие к ней снижается.
canonical — это не запрет, а указание «эта страница — копия вот той, индексируй оригинал». Canonical не экономит краулинговый бюджет напрямую: робот всё равно заходит на страницу с тегом, скачивает её и только потом решает не включать в индекс. Зато canonical спасает от дублей в выдаче и размывания ссылочного веса между версиями одной страницы.
Частая техническая ошибка — canonical указывает на страницу, которая отдаёт 404 или редирект. Проверить это руками на 20 000 страниц нереально, нужен краулер. Собрать актуальный список технических проблем можно через аудит сайта, там же обычно всплывают противоречия между robots.txt, sitemap и canonical на одних и тех же URL.
Откуда берутся дубли в каталоге на 20 000 товаров
Фильтры и параметры URL
Каждая комбинация фильтра создаёт новый URL: /catalog/obuv/?color=sinij&size=42, /catalog/obuv/?size=42&color=sinij — для робота это два разных адреса с одинаковым содержимым, хотя параметры просто переставлены местами. Умножьте на количество характеристик товара, и получите десятки тысяч технических дублей с одного раздела каталога.
Пагинация
Страницы 2, 3, 4 категории часто дублируют мета-теги первой страницы — тот же title, то же описание. Робот видит пачку одинаковых заголовков и не может понять, какая страница приоритетнее.
UTM-метки и хвосты от рекламы
Ссылка из рассылки с ?utm_source=email&utm_campaign=may формально отдельный URL. Если на неё случайно проставилась внутренняя ссылка или она попала в sitemap через плагин — дубль готов.
Зеркала и www
После переезда на новый домен или смены протокола (http → https) старая версия сайта иногда остаётся доступной. Получаем четыре версии одной страницы: http://site.ru, https://site.ru, http://www.site.ru, https://www.site.ru. Без жёсткой склейки через 301-редирект поисковик будет сам выбирать, какую версию показывать, и выбор не всегда совпадёт с вашим.
Признаки того, что дубли уже мешают сайту, обычно такие:
- в Search Console растёт раздел «Страница является копией» или «Дубликат, канонический URL не выбран пользователем»;
- количество страниц в индексе намного больше количества реальных товаров и категорий;
- два разных URL конкурируют в выдаче по одному запросу и периодически меняются местами;
- новые карточки товаров индексируются дольше 5–7 дней без видимой причины;
- в логах сервера робот регулярно заходит на страницы фильтров, которых нет в основном меню сайта.
Индексация — это не про магию алгоритмов, а про то, насколько легко робот находит нужные страницы и насколько мало времени тратит на страницы, которые никому не нужны.
410 против 404 — что делать с мусорными страницами после переезда
После смены структуры каталога, переезда на новый движок или ребрендинга почти всегда остаются старые URL — снятые с продажи товары, удалённые разделы, страницы со старого домена. Разница между кодами ответа 404 и 410 не формальность.
| Код | Что означает | Когда использовать |
|---|---|---|
| 404 | Страница не найдена, но сервер не уверен — временно это или навсегда | Опечатка в URL, случайная ссылка, страница может появиться снова |
| 410 | Страница удалена окончательно и осознанно | Товар снят с продажи навсегда, раздел упразднён, старые страницы после переезда |
На практике 410 ускоряет выведение страницы из индекса — робот воспринимает его как чёткий сигнал и не возвращается проверять страницу повторно месяцами, как иногда делает с 404.
Порядок действий при чистке старых дублей и мёртвых страниц:
- Выгрузить из Search Console и Яндекс Вебмастера полный список проиндексированных URL.
- Сопоставить список с актуальной структурой сайта — выделить страницы, которых больше не существует физически.
- Для страниц с осознанным удалением (старые акции, снятые с продажи товары) настроить ответ 410.
- Для страниц, которые переехали на новый адрес с сохранением смысла (старая карточка товара → новая карточка этого же товара), настроить 301-редирект, а не 410.
- Убрать мёртвые URL из sitemap.xml — если страницы там нет, но сервер отдаёт 410, это ускоряет переобход.
- Через 2–3 недели проверить в отчётах динамику — количество страниц с ошибками должно снижаться, а не расти.
Как читать отчёты «Страницы» в Search Console и «Индексирование» в Яндекс Вебмастере
В Google Search Console раздел «Страницы» (бывший «Покрытие») делит все найденные URL на проиндексированные и непроиндексированные, а внутри второй группы даёт причину. Самые частые причины для каталогов — «Обнаружена, но пока не проиндексирована» (робот нашёл URL, но не посчитал нужным тратить на него ресурс обхода) и «Страница является копией, канонический URL не выбран пользователем» — прямое указание на дубль без явного canonical.
В Яндекс Вебмастере похожий раздел называется «Индексирование → Страницы в поиске» и «Исключённые страницы». Яндекс отдельно выделяет причину «Дубль», «Недостаточно качественная» и «Запрещено в robots.txt» — по сути те же категории, но с другой формулировкой. Полезная привычка — сверять оба отчёта раз в месяц, потому что поисковики по-разному трактуют одни и те же страницы: бывает, что Google индексирует страницу фильтра, а Яндекс считает её дублем, или наоборот.
На что смотреть в первую очередь при регулярной проверке:
- резкий скачок количества исключённых страниц — почти всегда технический сбой после обновления сайта или смены шаблона;
- рост категории «Обнаружена, не проиндексирована» — сигнал, что бюджета обхода не хватает;
- страницы с пометкой «Canonical выбран Google, отличается от указанного» — поисковик не согласен с вашим canonical, нужно разбираться почему;
- количество страниц в индексе больше количества страниц в sitemap в два-три раза — явный признак дублей за пределами карты сайта.
Перед тем как разбираться с индексацией точечно, полезно свериться с чек-листом коммерческих факторов — иногда причина не в технике, а в том, что сама страница каталога неполноценна и поисковик справедливо не торопится её индексировать: чек-лист коммерческих факторов покажет такие пробелы.
Что сделать на своём сайте
- Выгрузить логи сервера за последние 30 дней и посчитать, сколько запросов робота уходит на страницы фильтров и параметров — если больше 20% от общего числа, закрывать часть параметров в robots.txt.
- Проверить sitemap.xml на предмет мёртвых URL, редиректов и страниц, закрытых от индексации — несоответствие встречается почти в каждом каталоге старше двух лет.
- Настроить единый canonical для страниц с UTM-метками и результатами сортировки, указывающий на чистый URL раздела.
- Склеить www и без www, http и https через 301-редирект, если после переезда остались рабочие старые версии домена.
- Для снятых с продажи товаров и упразднённых разделов настроить код ответа 410 вместо 404, для переехавших страниц — 301-редирект на актуальный адрес.
- Раз в месяц сверять отчёты Search Console и Яндекс Вебмастера по индексации, фиксировать динамику категорий «дубль» и «не проиндексирована» в отдельной таблице — так заметны тренды, а не разовые скачки.