Вечер, чай остыл, я открываю в Яндекс.Вебмастере «Страницы в поиске» и переключаюсь на вкладку исключённых. Там тридцать три строки и пять разных причин, из которых ни одна не повторяет другую.
Первая реакция предсказуемая: всё сломано, сайт тонет. Вторая реакция пришла минут через двадцать, когда я начал открывать адреса по одному. Половина «проблем» оказалась вовсе не проблемами. Другая половина делилась на две неравные кучки: то, что лечится за вечер, и то, что не лечится вообще.
Что значит «исключено» и почему это не приговор
Исключённая страница — это адрес, который робот видел, но в поисковую выдачу не взял. Тут легко перепутать две ситуации.
В первой страница не нужна в индексе. Это редирект, дубль со слэшем или адрес с параметром. Яндекс правильно её выкинул, и бороться не с чем.
Во второй страница нужна, но робот её не пустил: отдала 404, закрылась noindex или показалась ему пустой. Это уже работа.
Счётчик исключённых не отличает одно от другого. Я воспринимаю его как ящик входящих: из 33 писем часть спам, часть счета, и читать их все одинаково встревоженно незачем.
Пять статусов на одном экране
| Статус | Что случилось | Что делать |
|---|---|---|
| Малоценная или маловостребованная страница | Яндекс решил, что страница слабо отвечает на запросы или повторяет другие | Усиливать содержание, объединять, ждать переобхода |
| Запрещено элементом noindex | В коде страницы стоит запрет индексации | Проверить, нужен ли запрет; если нет — убрать и отправить на переобход |
| Ошибка 404 | По адресу ничего нет | Если у страницы есть живой аналог, поставить 301; если нет, оставить 404 |
| Редирект | Адрес перенаправляет на другой | Обычно ничего: это нормальное состояние |
| Неканоническая | В canonical указан другой адрес | Убедиться, что canonical ведёт на правильную страницу, и успокоиться |
Три нижних статуса в большинстве случаев описывают норму. Два верхних требуют внимания, но по-разному. Noindex лечится правкой в коде, а «малоценная» правкой не лечится.
Прошлый я и нынешний я транслитерируют по-разному и, судя по всему, никогда не договорятся
Что я нашёл у себя и чем починил
Пять старых слагов с 404. Причина оказалась смешной: транслитерация. Когда-то адреса генерировались по одним правилам, потом по другим. В итоге робот помнил `glavnye-tendentsii`, а живая страница жила на `glavnye-tendencii`. Та же история с `preimushchestva` и `preimuschestva`. Прошлый я и нынешний я транслитерируют по-разному и, судя по всему, никогда не договорятся.
Я поставил 301 со всех пяти старых адресов на актуальные. Удалять или прятать ничего не пришлось: ссылочный вес и закладки теперь доходят до нужных страниц.
Noindex. Здесь я сначала испугался, а потом посмотрел на даты. Все страницы со статусом «Запрещено элементом noindex» оказались снимками сентября-октября, то есть до переезда на новую сборку. Я проверил каждую. Сейчас все отдают 200 и никакого noindex в коде не содержат. Чинить нечего, нужно дождаться, пока робот заглянет снова.
Слэши и параметры. Адреса вроде `?verify=1`, `?release=...` или `?version=3`, а также варианты с косой чертой на конце либо отдают 301, либо несут canonical на чистый адрес. Яндекс честно помечает их как «неканонические» или «редирект». Так и задумано. Если бы эти адреса попали в индекс, я бы получил дубли, и тогда пришлось бы волноваться всерьёз.
«Малоценная»: статус, у которого нет кнопки
Самая массовая строка в отчёте: десятки страниц. Среди них уроки академии по 500–600 слов и часть старых статей.
Кнопки «пересмотреть» у этого статуса нет. Это не техническая ошибка, а оценка. Алгоритм сравнил страницу с запросами и с соседними страницами и решил, что пользователю она мало что добавляет. Короткий урок, который пересказывает соседний урок, — честный кандидат на такое решение.
Я пробовал отправлять такие адреса на переобход без правок. Результат ожидаемый: робот приходит, видит ту же страницу и ставит тот же статус. Переобход без изменений — всё равно что второй раз показать врачу тот же анализ.
Работает вот что:
- Выписать все «малоценные» адреса и сгруппировать их по темам.
- Найти пересечения: если два урока отвечают на один вопрос, объединить их в один и поставить 301 со второго.
- Дописать в оставшиеся то, чего нет у соседей: свои цифры, примеры, ошибки, разбор случая.
- Проверить, что на страницу ведут внутренние ссылки, а не только запись в карте сайта.
- Отправить на переобход и не трогать недели две-три, пока статус не обновится.
Пятый шаг самый трудный. Хочется открывать Вебмастер каждое утро, но статус от этого быстрее не меняется.
Если ваш sitemap вообще не доходит до робота, сначала разберитесь с этим: почему Яндекс не читает sitemap. Без этого любая работа с «малоценными» будет буксовать.
Как проверить 311 адресов за один прогон
Открывать страницы руками по одной я перестал после десятой. На сайте 159 статей, а в карте 311 адресов: туда входят ещё уроки, разделы и служебные страницы. Вручную это вечер, который можно потратить лучше.
Я написал короткий скрипт. Он берёт карту сайта, обходит каждый адрес и смотрит три вещи:
- код ответа — должен быть 200, без цепочек редиректов;
- noindex — и в мета-теге, и в заголовке X-Robots-Tag, потому что второй прячется лучше;
- canonical — должен указывать на сам адрес, а не на соседа или главную.
Результат по всем 311 адресам: везде 200, noindex нигде нет, canonical везде указывает на себя. Значит, карта чистая, и всё, что Яндекс исключил из её адресов, исключено не из-за технической поломки.
Если скрипт говорит «200, без noindex, canonical на себя», а Вебмастер пишет «малоценная», спорить с кодом бесполезно. Проблема в тексте.
Такую проверку я делаю в каждом аудите: она за пару минут отделяет поломки от оценок.
Где мой разбор может врать
Здесь я честно перечисляю ограничения.
Первое: часть статусов в Вебмастере — снимки примерно полуторамесячной давности. Тот самый noindex сентября-октября показывает, что видел робот тогда, а не то, что есть на сайте сейчас. Отчёт отстаёт от реальности, и это нормально.
Второе: Яндекс обновляет статус только после переобхода. Я поставил 301 на пять слагов, но в отчёте они ещё какое-то время будут числиться как 404. Это не значит, что фикс не сработал.
Третье: сайт у меня маленький. ИКС 20, в Google за 28 дней 106 кликов при 5 369 показах, CTR 1,97%. На проекте с десятками тысяч страниц пропорции статусов и скорость переобхода будут другими, и мои выводы не стоит переносить на них один в один.
Что сделать сегодня
Откройте исключённые страницы и отсортируйте их по статусу. «Редирект» и «неканоническую» пролистайте. Каждый 404 откройте и спросите себя, есть ли живой аналог. Если есть, поставьте 301.
У меня на это ушло пять строк в конфиге и один вечер. Чай я так и не допил.