Три тысячи запросов лежали в таблице. Я отсортировал их по общим словам, назначил каждой группе страницу и через вечер получил сорок будущих URL. Поиск через какое-то время вежливо намекнул, что половина из них претендует на одни и те же места в выдаче. Сорок страниц, которые толкаются локтями.
Кластер определяет выдача
Кластеризация — это разбиение собранных запросов на группы, каждая из которых может закрываться одной страницей. Критерий звучит почти обидно просто: если по двум запросам в выдаче одни и те же страницы, это один кластер.
Тут нет «по смыслу», «похоже» или «я так чувствую». Решение уже принял поисковик, когда показал по двум фразам один и тот же набор документов. Наша задача — прочитать это решение, а не придумывать своё.
Подходов несколько, и у каждого есть место, где он ломается:
| Подход | Как делать | Где ломается |
|---|---|---|
| По выдаче | Сравнивать топ по каждому запросу, объединять при совпадении страниц | Выдача плавает по региону и устройству |
| По лексике | Искать вхождение одних слов в другие | Одинаковые слова, разные наборы страниц |
| По интенту | Делить на информационные, коммерческие, навигационные, транзакционные | Слишком крупные группы, внутри всё равно каша |
| По шаблонам | Разбирать товарные запросы по схеме «товар + признак» | Работает только для каталога |
| Вручную по дереву смыслов | Строить иерархию тем руками | Держится на памяти и терпении автора |
Пять способов и что с каждым не так
По выдаче. Берём топ по каждому запросу и сравниваем списки URL. Плюс в том, что опираемся на факт, а не на догадку. Минус: нужно снять выдачу по всем фразам, а это время или инструмент.
Я отсортировал их по общим словам, назначил каждой группе страницу и через вечер получил сорок будущих URL
По лексике. Если «ремонт ноутбука asus» содержит «ремонт ноутбука», их склеивают. Быстро, бесплатно, понятно даже стажёру. Именно этим методом я и получил свои сорок конкурирующих страниц.
По интенту. Запросы делят по намерению: человек хочет узнать, купить, найти конкретный сайт или совершить действие. Для первого грубого разреза годится. Для карты URL слишком крупно: внутри «коммерческих» легко уживаются десять разных страниц.
По шаблонам товарных запросов. Каталог живёт по схемам: категория, бренд, цвет, размер. Шаблон быстро раскладывает тысячи фраз по фильтрам. Вне каталога метод бесполезен, а внутри иногда плодит пустые сочетания, которые никто не ищет.
Вручную по дереву смыслов. Рисуем иерархию: тема, подтема, вопрос. Хорошо помогает понять, как устроена ниша. Плохо масштабируется: на третьей тысяче строк дерево превращается в кустарник, который знаете только вы.
Почему верить можно только выдаче
Главная ошибка — кластеризовать по словам, а не по выдаче. Два запроса с одинаковыми словами могут иметь совершенно разные наборы страниц.
Классический случай — «купить X» и «X цена». Слова почти те же, товар тот же. Но бывает, что по «купить» поиск показывает карточки и категории магазинов, а по «цене» — прайсы, агрегаторы и обзоры «сколько стоит». Это два разных ответа на два разных вопроса. Склеите их в одну страницу — и она окажется недостаточно магазином для первого и недостаточно справочником для второго.
Бывает и обратное. Запросы без общих слов, вроде профессионального термина и его бытового синонима, дают одинаковый топ. Лексический метод разнесёт их по разным страницам, а поиск считает их одной темой.
Поэтому я сначала смотрю на выдачу, а потом уже на слова. Для сравнения топов у меня на сайте есть инструмент кластеризации: он сверяет совпадения страниц, чтобы не листать выдачу руками три тысячи раз.
Обратная сторона: каннибализация
Если ошибка первого рода — склеить разное, то ошибка второго — раздробить одно. Берёте кластер, который закрывается одной страницей, и делаете из него десять. Получаете каннибализацию: страницы конкурируют между собой, и обе проигрывают.
Это похоже на десять продавцов за одним прилавком, которые перебивают друг друга. Покупатель один, и из десяти он слушает в лучшем случае одного.
Увидеть это можно в отчётах по запросам. Признаки такие: по одной фразе показываются разные URL вашего сайта, позиция скачет, страницы сменяют друг друга в выдаче. Я смотрю это на своих данных. У меня 167 статей и 321 адрес в карте. За последние 28 дней было 106 кликов и 5 369 показов, CTR 1,97%, средняя позиция 52,9. Цифры скромные, и я не берусь утверждать, что виновата только каннибализация. Но при таком числе адресов на относительно небольшой блог проверять пересечения приходится регулярно.
Что делать: выбрать одну главную страницу кластера, остальные объединить с ней или переориентировать на другой интент, поправить внутренние ссылки. Подробно я разбирал это в статье про каннибализацию ключевых слов.
Порядок работы
Я собрал процесс в пять шагов и стараюсь их не переставлять:
- Собрать. Выгрузить запросы из всех источников в одну таблицу.
- Очистить. Убрать мусор, дубли, чужие бренды и фразы не по теме.
- Сгруппировать. Сделать черновую раскладку по интенту или лексике, чтобы было с чем работать.
- Проверить по выдаче. Сравнить топы, склеить группы с общими страницами, разнести те, где страницы разные.
- Собрать карту URL. Одному кластеру — один адрес. Для каталога помогает генератор структуры, а логику разбора я описывал в материале про карту URL для каталога.
Черновая группировка нужна, чтобы было что проверять. Решение о кластере принимает выдача, а не таблица.
Третий шаг экономит время на четвёртом, но не заменяет его. Своих сорок страниц я получил ровно потому, что остановился на третьем.
Где метод даёт сбой
Выдача зависит от региона и устройства. Топ в одном городе и на телефоне может отличаться от топа в другом городе на десктопе. Снимайте её в том регионе и на том устройстве, где живёт ваш покупатель, иначе вы кластеризуете чужой рынок.
Ручная сверка нужна всегда. Инструмент честно посчитает совпадения, но не поймёт, что две страницы в топе оказались там случайно, или что ваш бизнес вообще не продаёт половину этого кластера. Финальное слово — за человеком, который знает продукт.
И ещё одно. В маленьких темах кластеры получаются крупными. Если по нише мало запросов и выдача однородная, алгоритм склеит почти всё в несколько групп. Это не ошибка. Значит, нише хватит нескольких сильных страниц, и рисовать ради структуры двадцать тонких не нужно.
Что сделать сегодня
Откройте отчёт по запросам за последние 28 дней и отсортируйте его по фразам. Найдите те, где показываются два и больше ваших URL. Выпишите первые пять таких запросов, вбейте каждый в поиск в своём регионе и посмотрите, какую из ваших страниц поисковик считает главной. С неё и начните объединение.