Проверка индексируемости URL: что мешает странице попасть в индекс
Страница есть, а в поиске её нет. Показываю, какие преграды проверяю на пути страницы к индексу и как проверять их за секунды.
«Страница не находится в поиске» — жалоба, за которой в девяти случаях из десяти стоит конкретная техническая преграда. Найти её можно за секунды, если знать, куда смотреть.
Пять преград на пути к индексу
- Мета-тег robots с noindex — прямой запрет.
- Заголовок ответа X-Robots-Tag — тот же запрет, только в заголовках, и его не видно в коде страницы.
- Canonical на другой адрес — страница как бы говорит: «главная версия не я».
- robots.txt, запрещающий обход.
- Некорректный статус ответа — 404, 500 или вечный редирект.
Мой порядок проверки
1. Проверяю статус ответа — страница должна отвечать 200.
2. Смотрю мета-теги и заголовки на запреты.
3. Проверяю canonical — куда указывает.
4. Убеждаюсь, что адрес не закрыт в robots.txt.
Типичный кейс
Недавно клиент «терял» категории после редизайна: на новых страницах остался noindex из старого шаблона. Проверка показала это за минуту — сняли запрет, отправили на переобход, категории вернулись.
Вместо вывода
Прежде чем винить алгоритмы, проверьте технику. Страница, которой что-то мешает, не появится в индексе от количества статей.