Современный сайт часто приходит в браузер пустым: сервер отдаёт каркас страницы, а текст, товары и цены дорисовывает JavaScript. Человек этого не замечает. Поисковые роботы справляются по-разному: Google рендерит JavaScript, но с задержкой, Яндекс — хуже и не всегда, большинство AI-краулеров не выполняет его вовсе. Урок о том, как проверить, что видит робот, и как отдавать ему контент сразу.
Исходный код против инспектора
Инспектор в браузере показывает DOM, который уже собран после работы скриптов. Исходный код (Ctrl+U) показывает ответ сервера — то, с чем робот сталкивается первым. Проверка простая: открыть исходный код и поискать фразу из основного текста страницы. Нашлась — контент приходит сразу. Не нашлась — его рисует скрипт, и часть роботов его не увидит.
| Что проверить в исходном коде | Почему это важно |
|---|---|
| Основной текст и заголовок H1 | AI-краулеры без рендеринга видят только это |
| Title, description, canonical, meta robots | Если их меняет JavaScript, робот может прочитать старые значения |
| Ссылки в виде обычных <a href> | По кнопкам с обработчиком клика робот не переходит |
| Цены, наличие, характеристики товара | Ассистенту нечего процитировать, если данных нет в HTML |
| Микроразметка JSON-LD | Разметка, добавленная скриптом, читается не всеми |
Способы отдать HTML сразу
| Подход | Как работает | Когда подходит |
|---|---|---|
| Статическая генерация (SSG) | Страницы собираются в HTML при публикации | Сайты услуг, блоги, документация: содержимое меняется редко |
| Серверный рендеринг (SSR) | HTML собирается на сервере на каждый запрос | Магазины с меняющимися ценами и остатками |
| Гибрид | Основное в HTML, интерактив подгружается скриптом | Почти любой сайт: фильтры, калькуляторы, корзина |
| Пререндеринг для роботов | Роботам отдаётся заранее отрисованная копия | Временное решение для старого SPA, пока нет переделки |
На nasloy.ru я использую статическую генерацию: все страницы собираются в готовый HTML при публикации, а интерактивные инструменты подгружают скрипты поверх уже отрисованного текста. Для робота страница полная с первого байта.
Разбор на примере: магазин на SPA
Условный магазин одежды, сайт — одностраничное приложение на JavaScript. В исходном коде любой страницы один и тот же каркас и заголовок «Загрузка...». Google индексировал карточки с задержкой в несколько недель, Яндекс — около трети каталога, в ответах AI-ассистентов магазин не появлялся.
Полная переделка на SSR стоила дорого, поэтому сделали в два этапа. Сначала включили пререндеринг для роботов, затем за квартал перевели на серверный рендеринг категории и карточки, оставив личный кабинет и корзину на клиенте.
| Показатель | SPA | Через 3 месяца после SSR |
|---|---|---|
| Карточек в индексе Яндекса | ~34% | ~86% |
| Время до индексации новой карточки в Google | 2–4 недели | 2–5 дней |
| LCP на мобильных | 4,8 с | 2,1 с |
| Визиты из поиска | ~18 000 | ~31 000 |
Скорость выросла как побочный эффект: браузеру больше не нужно было скачивать и выполнять весь JavaScript, чтобы показать первый экран.
Как проверять регулярно
- После каждого релиза — исходный код трёх типовых страниц: главной, категории, карточки или статьи.
- Раз в месяц — инструмент проверки URL в Search Console и «Проверка ответа сервера» в Вебмастере: они показывают, что получил робот.
- При смене фреймворка или шаблона — проверка всех служебных тегов: title, canonical, meta robots, hreflang.
Если контент нельзя найти в исходном коде страницы, считайте, что для части роботов его нет.
Проверить ответ сервера, редиректы и канонические адреса можно в проверке редиректов и canonical. Если сайт предстоит переносить на новую платформу, стоит прочитать про миграцию сайтов.