Дубли страниц: как найти и закрыть

Дубли страниц на сайте почти никогда не создают руками. Их плодит движок: сортировки, фильтры, версия для печати, один товар в двух категориях. Владелец узнаёт о проблеме позже всех - когда нужная страница вылетела из индекса, а вместо неё в выдаче болтается адрес с хвостом из параметров.

Типичный звонок к нам выглядит так: "У нас была страница услуги на второй позиции, теперь её нет вообще, а по запросу показывается какой-то список с фильтром". Сайт при этом никто не трогал. Просто в какой-то момент робот пересчитал, какая из десяти одинаковых страниц главная, и выбрал не ту.

Чем дубли вредят на самом деле

Санкции за дубли поисковики не накладывают, это не нарушение. Вред другой, и он накапливается тихо.

Размывание релевантности. Внешние ссылки, поведенческие сигналы и вес внутренней перелинковки распределяются между копиями вместо того, чтобы работать на одну страницу. Вместо одного сильного адреса получается пять слабых.

Расход краулингового бюджета. У робота на каждый сайт есть лимит обращений за визит. Если из 500 обойдённых адресов 400 оказались копиями, новые товары и статьи попадут в индекс на неделю-другую позже.

Случайная посадочная в выдаче. Самое неприятное. В результатах оказывается страница с сортировкой по убыванию цены, с UTM-меткой от старой рекламной кампании или версия для печати без меню и без кнопки заказа. Человек приходит, не понимает, где он, и уходит.

Полные и частичные: разница важнее, чем кажется

Полный дубль - две страницы с идентичным содержимым по разным адресам. Это техническая история, и лечится она технически: редиректом или канонической ссылкой. Ошибиться сложно.

Частичный дубль - страницы разные, но пересекаются по смыслу и тексту процентов на 70-90. Карточки одного товара в разных цветах, две услуги с почти одинаковым описанием, статья и её же сокращённая версия в другой рубрике. Здесь техника не поможет: нужно либо переписывать, либо объединять страницы.

Отдельно стоят смысловые дубли - когда под один и тот же запрос сделаны две разные страницы. Например, "разработка сайтов" и "создание сайтов" как два раздела: адреса разные, тексты разные, а конкурируют они между собой, и поиск обычно понижает обе.

Откуда берутся технические дубли

Список из нашей практики, отсортированный по частоте встречаемости.

• Слеш на конце и без него. /uslugi/ и /uslugi для сервера это два разных адреса.
• www и без www. Классика. Проверяется за десять секунд, а живёт годами.
• http и https. После установки сертификата редирект настраивают не всегда.
• index.php и index.html в конце. Движок отдаёт главную и по /, и по /index.php.
• Параметры сортировки и вида списка. ?sort=price&view=grid и полтора десятка комбинаций.
• UTM-метки и идентификаторы рекламных площадок. Каждая кампания создаёт новый адрес.
• Пагинация. Вторая и третья страницы каталога с тем же заголовком и тем же текстом сверху.
• Версия для печати. Отдельный адрес с полным текстом статьи.
• Один товар в нескольких категориях. /katalog/nasosy/model-x/ и /katalog/akcii/model-x/.

Первые четыре пункта закрываются за час и дают заметный эффект.

Как искать: пять способов от простого к сложному

Яндекс.Вебмастер, раздел "Страницы в поиске". Смотрим исключённые страницы и фильтр по причине "Дубль". Система прямо показывает, какой адрес она считает основным. Это первое место, куда надо смотреть, и оно бесплатное.

Оператор поиска по фрагменту текста. Берём предложение из середины страницы, заключаем в кавычки и ищем с уточнением сайта. Если в результатах несколько адресов - вот они, дубли. Способ грубый, но за пять минут показывает картину.

Краулер. Screaming Frog в бесплатной версии обходит 500 адресов, этого хватает небольшому сайту. Обходим и сортируем по заголовку Title: одинаковые заголовки почти всегда означают одинаковое содержимое. Дальше смотрим колонку с хешем содержимого. Для каталога на несколько тысяч позиций понадобится платная лицензия, порядка 20 000 рублей в год.

Выборка из базы движка. Выгружаем из админки список страниц с заголовками в таблицу и сортируем по названию: совпадения видно глазами за минуту.

Отчёт по посадочным в Метрике. Открываем страницы входа за квартал и ищем среди них адреса с параметрами, которых там быть не должно. Если люди заходят из поиска на ?print=1, это готовый диагноз.

Полный порядок проверки со всеми смежными пунктами разобран в статье про технический SEO-аудит, дубли там один из блоков.

Чем закрывать: инструмент под каждый случай

Два уточнения, на которых чаще всего спотыкаются.

Редирект и каноникал не взаимозаменяемы. Редирект убирает адрес насовсем: страница перестаёт открываться. Если сортировка нужна покупателям, редирект с неё сломает магазин. Каноникал оставляет страницу рабочей, но говорит поиску, какая версия главная. Сценарии редиректов разобраны в отдельном материале про 301 редирект, тонкости канонической ссылки - в статье про каноникал.

Пагинацию каноникалом на первую страницу закрывать не надо. Так со второй и последующих страниц пропадут товары, которые больше нигде не выводятся. Правильнее дать каждой странице свой заголовок вида "Насосы, страница 2" и оставить их в индексе.

Закрывать дубли через robots.txt не стоит. Запрет обхода не убирает страницу из индекса, если на неё есть ссылки, и одновременно мешает роботу увидеть каноникал. Что и как правильно писать в этом файле, разбирали в материале про sitemap.xml и robots.txt.

Одинаковые описания в карточках товаров

Это самый тяжёлый случай, потому что техникой он не решается. Поставщик прислал прайс с описаниями, их залили в каталог, и теперь у 40 моделей насосов один и тот же абзац про надёжность.

Что работает при большом каталоге:

1. Приоритизация. Выгружаем из Метрики товары, которые дают заказы и переходы из поиска. Обычно это 5-10% каталога. Уникальные описания пишем только им, по 300-500 знаков, ориентировочно 150-400 рублей за карточку у копирайтера.
2. Разведение по характеристикам. Для остальных выводим таблицу параметров, комплектацию и совместимость. Это уникальный контент, который к тому же нужен покупателю.
3. Отзывы и вопросы. Пользовательский текст делает карточки разными бесплатно.
4. Сокращение вместо размножения. Если товары отличаются только цветом, лучше сделать один товар с выбором цвета, чем пять карточек.

Про остальные особенности каталога в поиске писали в материале о SEO для интернет-магазина, а про то, как правильно устроить фильтры, чтобы они не плодили мусорные адреса, - в статье про фильтр товаров.

Чек-лист профилактики для нового сайта

Дешевле всего дубли не лечить, а не допускать. Что мы просим проверить на приёмке любого проекта:

• Выбран один вариант адреса: со слешем или без, с www или без. Все остальные варианты отдают 301.
• Весь сайт работает по https, http редиректит на него без промежуточных переходов.
• Главная открывается только по /, обращение к /index.php редиректит на корень.
• На всех страницах по умолчанию стоит каноническая ссылка на собственный чистый адрес.
• Страницы фильтров и сортировок не попадают в карту сайта.
• Версия для печати и служебные разделы закрыты метатегом robots.
• У каждого товара один основной адрес, независимо от того, в скольких категориях он выводится.
• В карте сайта только те адреса, которые вы хотите видеть в поиске.

Пройти по этому списку на этапе сдачи стоит полчаса. Разбирать последствия через год после запуска стоит от 15 000 до 40 000 рублей, в зависимости от размера каталога.

С чего начать на этой неделе

Дубли не ломают сайт мгновенно, поэтому их легко откладывать. Но они подтачивают позиции постоянно: вес размазывается, обход тратится впустую, в выдачу попадает не та страница. Начните с Вебмастера и отчёта по исключённым страницам, потом закройте четыре базовых варианта адреса редиректами. На этом уходит большая часть проблемы, а оставшееся уже разбирается спокойно, по одному типу за раз.

Если каталог большой и разбираться некогда, мы делаем такую ревизию в рамках SEO-продвижения: показываем список найденных дублей с указанием причины и порядок работ, а вы решаете, что делать своими силами, а что отдать нам.