Инструменты · технический аудит

Проверка индексируемости URL

Структурируйте проверку важных страниц: доступность, robots, canonical, sitemap и внутренние ссылки.

Инструмент не обходит сторонние сайты из браузера. Для каждого URL сверяйте данные в Search Console / Вебмастере и отмечайте результат.

Четыре причины «страница есть, а её нет в поиске»

Доступность. Если URL отдаёт 404, 500 или редирект, индексации не будет. Начните с кода ответа: он объясняет половину проблем быстрее любых догадок.

Запрет. Disallow в robots.txt запрещает обход, noindex в метатеге — попадание в индекс. Комбинация «закрыто в robots + noindex» коварна: поисковик не увидит сам noindex и может оставить страницу в индексе без описания.

canonical. Если каноническим указан другой адрес, страница не будет самостоятельной: сигналы уходят на «главную» версию. Частая причина — шаблон, который ставит canonical на раздел вместо карточки.

Ссылки и карта сайта. Страница без внутренних ссылок и вне sitemap похожа на сироту: краулер доходит до неё редко. Один-два осмысленных ссылки из навигации или тематического блока обычно решают вопрос быстрее, чем повторная отправка в вебмастер.

Статус в панели. «Обнаружена, не проиндексирована» — не приговор: часто это вопрос качества и приоритета. Смотрите отчёт по страницам целиком, а не по одному URL: массовые исключения почти всегда шаблонные.

Чек-лист рассчитан на ручную проверку: инструмент помогает не забыть пункты и собрать список. Автоматическое обходное решение — краулер на сервере или десктопный аналог.

Дальше: разобрать редиректы, собрать sitemap, проверить robots.txt.

Порядок проверки

Начните с кода ответа: пока он не 200, остальное не имеет смысла. Затем откройте исходный код страницы и проверьте три вещи подряд — метатег robots, canonical и наличие текста в HTML без исполнения скриптов. После этого сверьтесь с robots.txt и sitemap.xml, а закончите отчётом «Страницы» в Search Console и «Индексирование» в Вебмастере.

Что записывать. По каждому URL полезно фиксировать дату проверки, статус и решение: оставить как есть, переписать canonical, добавить ссылку, отправить на переобход. Через две недели видно, что сработало, а что нет — без таблицы это забывается.

Список можно скопировать и вставить в таблицу или передать разработчику как чек-лист.