33 исключённые страницы в Яндекс.Вебмастере: что я починил и что починить нельзя

В Вебмастере у меня 205 страниц в поиске и 33 исключённых. Я разобрал каждую строку: где был настоящий 404, где устаревший снимок noindex, где нормальный редирект и почему статус «малоценная» не снимается ни одной кнопкой.

Вечер, чай остыл, я открываю в Яндекс.Вебмастере «Страницы в поиске» и переключаюсь на вкладку исключённых. Там тридцать три строки и пять разных причин, из которых ни одна не повторяет другую.

Первая реакция предсказуемая: всё сломано, сайт тонет. Вторая реакция пришла минут через двадцать, когда я начал открывать адреса по одному. Половина «проблем» оказалась вовсе не проблемами. Другая половина делилась на две неравные кучки: то, что лечится за вечер, и то, что не лечится вообще.

Что значит «исключено» и почему это не приговор

Исключённая страница — это адрес, который робот видел, но в поисковую выдачу не взял. Тут легко перепутать две ситуации.

В первой страница не нужна в индексе. Это редирект, дубль со слэшем или адрес с параметром. Яндекс правильно её выкинул, и бороться не с чем.

Во второй страница нужна, но робот её не пустил: отдала 404, закрылась noindex или показалась ему пустой. Это уже работа.

Счётчик исключённых не отличает одно от другого. Я воспринимаю его как ящик входящих: из 33 писем часть спам, часть счета, и читать их все одинаково встревоженно незачем.

Пять статусов на одном экране

Пять статусов на одном экране

СтатусЧто случилосьЧто делать
Малоценная или маловостребованная страницаЯндекс решил, что страница слабо отвечает на запросы или повторяет другиеУсиливать содержание, объединять, ждать переобхода
Запрещено элементом noindexВ коде страницы стоит запрет индексацииПроверить, нужен ли запрет; если нет — убрать и отправить на переобход
Ошибка 404По адресу ничего нетЕсли у страницы есть живой аналог, поставить 301; если нет, оставить 404
РедиректАдрес перенаправляет на другойОбычно ничего: это нормальное состояние
НеканоническаяВ canonical указан другой адресУбедиться, что canonical ведёт на правильную страницу, и успокоиться

Три нижних статуса в большинстве случаев описывают норму. Два верхних требуют внимания, но по-разному. Noindex лечится правкой в коде, а «малоценная» правкой не лечится.

Прошлый я и нынешний я транслитерируют по-разному и, судя по всему, никогда не договорятся

— Олег Ветров, автор блога

Что я нашёл у себя и чем починил

Пять старых слагов с 404. Причина оказалась смешной: транслитерация. Когда-то адреса генерировались по одним правилам, потом по другим. В итоге робот помнил `glavnye-tendentsii`, а живая страница жила на `glavnye-tendencii`. Та же история с `preimushchestva` и `preimuschestva`. Прошлый я и нынешний я транслитерируют по-разному и, судя по всему, никогда не договорятся.

Я поставил 301 со всех пяти старых адресов на актуальные. Удалять или прятать ничего не пришлось: ссылочный вес и закладки теперь доходят до нужных страниц.

Noindex. Здесь я сначала испугался, а потом посмотрел на даты. Все страницы со статусом «Запрещено элементом noindex» оказались снимками сентября-октября, то есть до переезда на новую сборку. Я проверил каждую. Сейчас все отдают 200 и никакого noindex в коде не содержат. Чинить нечего, нужно дождаться, пока робот заглянет снова.

Слэши и параметры. Адреса вроде `?verify=1`, `?release=...` или `?version=3`, а также варианты с косой чертой на конце либо отдают 301, либо несут canonical на чистый адрес. Яндекс честно помечает их как «неканонические» или «редирект». Так и задумано. Если бы эти адреса попали в индекс, я бы получил дубли, и тогда пришлось бы волноваться всерьёз.

«Малоценная»: статус, у которого нет кнопки

Самая массовая строка в отчёте: десятки страниц. Среди них уроки академии по 500–600 слов и часть старых статей.

Кнопки «пересмотреть» у этого статуса нет. Это не техническая ошибка, а оценка. Алгоритм сравнил страницу с запросами и с соседними страницами и решил, что пользователю она мало что добавляет. Короткий урок, который пересказывает соседний урок, — честный кандидат на такое решение.

Я пробовал отправлять такие адреса на переобход без правок. Результат ожидаемый: робот приходит, видит ту же страницу и ставит тот же статус. Переобход без изменений — всё равно что второй раз показать врачу тот же анализ.

Работает вот что:

  1. Выписать все «малоценные» адреса и сгруппировать их по темам.
  2. Найти пересечения: если два урока отвечают на один вопрос, объединить их в один и поставить 301 со второго.
  3. Дописать в оставшиеся то, чего нет у соседей: свои цифры, примеры, ошибки, разбор случая.
  4. Проверить, что на страницу ведут внутренние ссылки, а не только запись в карте сайта.
  5. Отправить на переобход и не трогать недели две-три, пока статус не обновится.

Пятый шаг самый трудный. Хочется открывать Вебмастер каждое утро, но статус от этого быстрее не меняется.

Если ваш sitemap вообще не доходит до робота, сначала разберитесь с этим: почему Яндекс не читает sitemap. Без этого любая работа с «малоценными» будет буксовать.

Как проверить 311 адресов за один прогон

Открывать страницы руками по одной я перестал после десятой. На сайте 159 статей, а в карте 311 адресов: туда входят ещё уроки, разделы и служебные страницы. Вручную это вечер, который можно потратить лучше.

Я написал короткий скрипт. Он берёт карту сайта, обходит каждый адрес и смотрит три вещи:

  • код ответа — должен быть 200, без цепочек редиректов;
  • noindex — и в мета-теге, и в заголовке X-Robots-Tag, потому что второй прячется лучше;
  • canonical — должен указывать на сам адрес, а не на соседа или главную.

Результат по всем 311 адресам: везде 200, noindex нигде нет, canonical везде указывает на себя. Значит, карта чистая, и всё, что Яндекс исключил из её адресов, исключено не из-за технической поломки.

Если скрипт говорит «200, без noindex, canonical на себя», а Вебмастер пишет «малоценная», спорить с кодом бесполезно. Проблема в тексте.

Такую проверку я делаю в каждом аудите: она за пару минут отделяет поломки от оценок.

Где мой разбор может врать

Где мой разбор может врать

Здесь я честно перечисляю ограничения.

Первое: часть статусов в Вебмастере — снимки примерно полуторамесячной давности. Тот самый noindex сентября-октября показывает, что видел робот тогда, а не то, что есть на сайте сейчас. Отчёт отстаёт от реальности, и это нормально.

Второе: Яндекс обновляет статус только после переобхода. Я поставил 301 на пять слагов, но в отчёте они ещё какое-то время будут числиться как 404. Это не значит, что фикс не сработал.

Третье: сайт у меня маленький. ИКС 20, в Google за 28 дней 106 кликов при 5 369 показах, CTR 1,97%. На проекте с десятками тысяч страниц пропорции статусов и скорость переобхода будут другими, и мои выводы не стоит переносить на них один в один.

Что сделать сегодня

Откройте исключённые страницы и отсортируйте их по статусу. «Редирект» и «неканоническую» пролистайте. Каждый 404 откройте и спросите себя, есть ли живой аналог. Если есть, поставьте 301.

У меня на это ушло пять строк в конфиге и один вечер. Чай я так и не допил.

Читать дальше

Проверка

Посмотреть, где теряется трафик

SEO-аудит страницы: 28 автоматических проверок — от индексации до микроразметки. Без регистрации, список приоритетов сразу.