Техническое SEO
Карта сайта, robots, индексация, редиректы и скорость — то, что проверяется до текстов и без чего тексты не работают.
10 материалов в кластере. Все разборы — на моих собственных сбоях, а не на чужих скриншотах.
Порядок, в котором это чинится
Сначала доступность: сервер отдаёт 200, robots не закрывает нужные разделы, карта сайта открывается без редиректов. Потом индексация: сверяются адреса в карте и в индексе, разбираются исключённые. И только затем скорость и разметка — иначе силы уходят на страницы, которых поисковик не видит.
Отдельный слой — ИИ-краулеры. У них три разных разрешения: обучение модели, индексация для ответов и переход по ссылке по запросу пользователя. Запрет обучения не убирает сайт из ответов, а запрет всех ботов отрезает и цитирование.
Материалы кластера
Что проверить за пятнадцать минут
Открыть /robots.txt и /sitemap.xml — оба должны отдавать 200 без редиректов. Сверить число адресов в карте с числом страниц в сборке. Посмотреть, у всех ли адресов одинаковый lastmod: если да, карта врёт, и робот это видит. Дальше — отчёт Core Web Vitals по мобильной версии и список исключённых в Вебмастере.
Частые вопросы
С чего начинать техническое SEO
С доступности и кодов ответа: сервер отдаёт 200, robots не закрывает нужное, карта сайта открывается. Потом индексация — сколько адресов в карте, сколько в индексе, что попало в исключённые. Скорость и разметка идут после: оптимизировать страницу, которой нет в индексе, бессмысленно.
Почему карта сайта не перечитывается
Семь типичных причин: файл отдаёт не 200, карта закрыта в robots, в ней неканонические адреса, у всех страниц одинаковый lastmod, файл генерируется на лету и падает по таймауту, в robots указан старый адрес, неверный Content-Type. Пинг карты только просит перечитать, но не заставляет — у меня он возвращал 200, а робот не приходил месяц.
Что значит «страница исключена»
Что её нет в индексе — и это не всегда ошибка. Нормальные поводы: дубль с другим адресом, страница за редиректом, служебный URL с параметром. Ненормальные: живая статья отдаёт 404, стоит noindex, или Яндекс считает её малоценной. Каждый статус разбирается отдельно, «убрать всё» — не решение.
Зачем robots.txt, llms.txt и микроразметка
robots управляет доступом краулеров, включая ИИ-ботов: обучение, индексация для ответов и переход по ссылке — три разных разрешения. llms.txt — договорённость, а не стандарт: Google его не использует, часть ассистентов читает. Микроразметка помогает машине понять тип контента, но не заменяет факты на странице.
Сколько весит скорость в позициях
Меньше, чем содержание. Core Web Vitals — гигиена: LCP до 2,5 секунды, INP до 200 миллисекунд, CLS до 0,1. Если сайт медленный, это мешает и человеку, и обходу, но сама по себе скорость не поднимает страницу с пятидесятого места в десятку. У меня позиция 52,9 при нормальных метриках.