Техническое SEO

Карта сайта, robots, индексация, редиректы и скорость — то, что проверяется до текстов и без чего тексты не работают.

10 материалов в кластере. Все разборы — на моих собственных сбоях, а не на чужих скриншотах.

Порядок, в котором это чинится

Сначала доступность: сервер отдаёт 200, robots не закрывает нужные разделы, карта сайта открывается без редиректов. Потом индексация: сверяются адреса в карте и в индексе, разбираются исключённые. И только затем скорость и разметка — иначе силы уходят на страницы, которых поисковик не видит.

Отдельный слой — ИИ-краулеры. У них три разных разрешения: обучение модели, индексация для ответов и переход по ссылке по запросу пользователя. Запрет обучения не убирает сайт из ответов, а запрет всех ботов отрезает и цитирование.

Материалы кластера

SEO 17 ноября 2026 Технический аудит сайта: сорок пунктов, три порога и порядок проверки Сорок пунктов технического аудита в пяти группах, три порога Core Web Vitals, которые надо помнить без шпаргалки, и порядок, при котором одна правка не отменяет другую. Плюс четыре ошибки, которые пропускают почти все. SEO 17 ноября 2026 Яндекс месяц не перечитывает карту сайта: семь причин и почему пинг не спасает Вебмастер месяц показывает, что моя карта читалась 6 октября и в ней 209 адресов. Сейчас в ней 311. Рассказываю, что я проверил, какие семь причин обычно мешают и почему пинг ничего не гарантирует. SEO 17 ноября 2026 33 исключённые страницы в Яндекс.Вебмастере: что я починил и что починить нельзя В Вебмастере у меня 205 страниц в поиске и 33 исключённых. Я разобрал каждую строку: где был настоящий 404, где устаревший снимок noindex, где нормальный редирект и почему статус «малоценная» не снимается ни одной кнопкой. Инструменты 4 сентября 2026 Как я собираю sitemap.xml и не забываю ни одной страницы Sitemap — это карта для краулера. Показываю, какие страницы попадают в мой sitemap, какие нет и как собрать файл за минуту. Инструменты 3 сентября 2026 Как я собираю robots.txt и llms.txt: разбор с генератором Показываю свой рабочий процесс: как собрать корректные robots.txt и llms.txt для поисковиков и AI-краулеров, какие правила я закладываю и какие ошибки дорого стоят. SEO 17 ноября 2026 ИИ-краулеры в robots.txt: кому что разрешать и почему я не запретил никого Разбираю, какие ИИ-боты ходят на сайт, чем обучение отличается от индексации для ответов и перехода по ссылке, и почему в моём robots.txt осталась одна звёздочка и ни одного запрета для ИИ. SEO 17 ноября 2026 llms.txt: что это, как сделать правильно и почему он не поднимет трафик llms.txt лежит в корне моего сайта давно, но внятно объяснить, зачем он там, я смог не сразу. Разбираю формат, правила хорошего файла и мой пример, а заодно объясняю, почему это ставка на будущее, а не рычаг для трафика. Инструменты 4 сентября 2026 Редиректы и canonical: как я ищу невидимые утечки трафика Цепочки редиректов и конфликтующие canonical незаметны глазу, но съедают трафик. Показываю, как я проверяю их на живом сайте. SEO 17 ноября 2026 Core Web Vitals на статическом сайте: три порога, семь шагов и никакой магии Обложка на моём сайте грузилась три секунды при пороге LCP в 2,5. Разбираю три метрики Core Web Vitals, семь шагов починки на статике и объясняю, почему быстрый сайт сам по себе не поднимется с 52-й позиции. SEO 17 ноября 2026 Аудит мобильной версии сайта: 12 пунктов, три метрики и спор лаборатории с полем Проверяю сайт с телефона по двенадцати пунктам: вьюпорт, тап-зоны, шрифты, формы, вес, LCP, INP и CLS. Разбираю, почему PageSpeed показывает одно, Search Console другое, и какой из этих цифр верить.

Что проверить за пятнадцать минут

Открыть /robots.txt и /sitemap.xml — оба должны отдавать 200 без редиректов. Сверить число адресов в карте с числом страниц в сборке. Посмотреть, у всех ли адресов одинаковый lastmod: если да, карта врёт, и робот это видит. Дальше — отчёт Core Web Vitals по мобильной версии и список исключённых в Вебмастере.

Частые вопросы

С чего начинать техническое SEO

С доступности и кодов ответа: сервер отдаёт 200, robots не закрывает нужное, карта сайта открывается. Потом индексация — сколько адресов в карте, сколько в индексе, что попало в исключённые. Скорость и разметка идут после: оптимизировать страницу, которой нет в индексе, бессмысленно.

Почему карта сайта не перечитывается

Семь типичных причин: файл отдаёт не 200, карта закрыта в robots, в ней неканонические адреса, у всех страниц одинаковый lastmod, файл генерируется на лету и падает по таймауту, в robots указан старый адрес, неверный Content-Type. Пинг карты только просит перечитать, но не заставляет — у меня он возвращал 200, а робот не приходил месяц.

Что значит «страница исключена»

Что её нет в индексе — и это не всегда ошибка. Нормальные поводы: дубль с другим адресом, страница за редиректом, служебный URL с параметром. Ненормальные: живая статья отдаёт 404, стоит noindex, или Яндекс считает её малоценной. Каждый статус разбирается отдельно, «убрать всё» — не решение.

Зачем robots.txt, llms.txt и микроразметка

robots управляет доступом краулеров, включая ИИ-ботов: обучение, индексация для ответов и переход по ссылке — три разных разрешения. llms.txt — договорённость, а не стандарт: Google его не использует, часть ассистентов читает. Микроразметка помогает машине понять тип контента, но не заменяет факты на странице.

Сколько весит скорость в позициях

Меньше, чем содержание. Core Web Vitals — гигиена: LCP до 2,5 секунды, INP до 200 миллисекунд, CLS до 0,1. Если сайт медленный, это мешает и человеку, и обходу, но сама по себе скорость не поднимает страницу с пятидесятого места в десятку. У меня позиция 52,9 при нормальных метриках.