Технический аудит нашего сайта нашёл несколько десятков дублей, и все они свелись к одной причине - страницам пагинации в разделах блога, новостей, каталога отраслей и глоссария. Один и тот же набор карточек отдавался по двум-трём разным адресам сразу, и поисковик получал полную копию раздела там, где её быть не должно. Показываем, как это устроено технически и что мы поменяли у себя.
Пока в разделе десяток карточек и одна страница листания, дублям взяться неоткуда. Чем больше материалов и способов их пролистать, тем выше шанс, что в движке появится лишний адрес той же подборки.
У нас так и вышло. Блог, новости, каталог отраслей и глоссарий выросли настолько, что сервис технического аудита начал находить в них лишние страницы: одинаковый заголовок, одинаковый текст, разный адрес. Отчёт насчитал 25 таких случаев по одному признаку - совпадению заголовка страницы. Разбираемся, откуда они взялись.
Почему страницы пагинации вообще считаются дублями
Листалка сама по себе дублем не является. Вторая страница раздела блога показывает другую подборку статей: разные заголовки, ссылки, тексты карточек. Поисковик прекрасно понимает, что перед ним не копия, а продолжение списка.
Дублем это становится в одном случае - когда движок отдаёт одинаковое содержимое по разным адресам. Первая страница раздела бывает доступна и по чистому адресу, и по адресу с параметром страницы. Или, как у нас, несуществующий по факту адрес листания отдаёт тот же самый список, что и главная страница раздела. Тогда у поисковика на руках оказываются несколько идентичных страниц - какими вообще бывают дубли и почему они мешают, разбирали в статье про дубли страниц.
Два способа листать раздел и что будет, если они не согласованы
У большинства систем управления сайтом есть два механизма пагинации. Первый - путь в адресе вроде /page/2/, /page/3/: движок сам понимает по адресу, какую страницу показать. Второй - параметр в адресе вроде ?page=2: шаблон раздела сам строит запрос к базе и решает, что показать.
Наши разделы листаются вторым способом, через параметр. Но движок сайта при этом продолжал считать, что у каждого раздела есть ещё и обычные адреса первого типа - так работает система по умолчанию, и никто эту логику явно не отключал. Шаблон такие адреса не различал: получив запрос на /page/2/, он не находил там своей пагинации и на любой подобный запрос печатал первую страницу раздела целиком.
Итог: по четырём разделам появились полные дубли - /blog/page/2/, /news/page/2/, /industries/page/2/ и целая серия у глоссария вплоть до /page/6/. На каждом таком адресе робот видел ровно то же самое, что на первой странице раздела.
Служебные ссылки на соседние страницы и почему на них теперь меньше полагаются
Есть старый приём - метки rel=next и rel=prev в коде страницы, которые указывают роботу на предыдущую и следующую страницу листания. Идея была в том, чтобы поисковик понимал: это часть последовательности, и распределял вес по цепочке правильно.
У нас эта метка обернулась во вред. Плагин, который отвечает за SEO-разметку, автоматически прописывал ссылку на следующую страницу и вёл ей прямо на несуществующий дублирующий адрес. Код страницы сам приглашал робота зайти именно туда, где обнаруживался дубль.
Google ещё в 2019 году сообщил, что перестал использовать эти ссылки при определении структуры пагинации: последовательность страниц он распознаёт через обычные ссылки и карту сайта. Мы решили её просто не печатать: раз сигнал никто не читает, чинить его смысла нет.
Правильный адрес-оригинал: почему вторая страница ссылается сама на себя
Соблазн большой: у каждой страницы пагинации в служебном поле проставить ссылку на первую страницу раздела, чтобы поисковик их не путал. На практике это ломает индексацию сильнее, чем сами дубли.
Такая ссылка - команда роботу: настоящий адрес этой страницы не здесь, а на первой странице. Если статьи из раздела попадают на вторую, третью, четвёртую страницу листания и больше нигде не встречаются, поисковик их не увидит: с его точки зрения все они лежат на первой странице, где их физически нет.
Правильно наоборот: с первой страницы адрес-оригинал ведёт на неё саму по чистому пути, без параметра. Начиная со второй - на саму себя, с параметром страницы в адресе. Каждая страница листания подтверждает себя как оригинал, и ни одна статья не выпадает из обхода. Логику разбирали подробнее в статье про каноническую ссылку - там же о том, какие ситуации требуют самоссылки, а какие нет.
Заголовок страницы: добавить номер
Мелочь, которую легко упустить, даже разобравшись с дублями контента. Если заголовок у первой и у пятой страницы раздела одинаковый - "Блог веб-студии" - это уже дубль заголовков, даже когда список карточек на страницах честно разный.
Решение простое: начиная со второй страницы к заголовку добавляется номер, например "Блог веб-студии - страница 3". У каждой страницы появляется свой заголовок, и человеку, который зашёл из закладки или истории браузера, сразу понятно, где он находится.
Карта сайта и пагинация
В карту сайта попадают адреса, по которым робота приглашают заходить в первую очередь. Страницам пагинации там делать нечего: это служебные адреса, не документы, и включать их в карту - значит тратить ресурс обхода на то, что и так найдётся по ссылкам раздела.
У нас через баг с несуществующими адресами часть таких страниц просочилась в выдачу - не через карту сайта, а через ссылку rel=next и прямой обход робота. Аудит нашёл 25 адресов с задублированным заголовком, все они оказались страницами пагинации четырёх разделов. Мы исключили несуществующие адреса из выдачи (страница отдаёт код 404, если запрошенный номер технически не мог появиться) и перепроверили карту сайта - как её готовить правильно, расписано в статье про sitemap.xml и robots.txt.
Как найти такие дубли у себя
Дублей на глаз не видно - их находят инструментом или руками. Три рабочих способа, и лучше пройтись по всем трём.
Панель вебмастера. У Яндекса и у Google есть отчёты про дублирующиеся и исключённые страницы: видно, когда система нашла несколько адресов с одинаковым содержимым и выбрала один из них сама, не спрашивая владельца сайта. Так стоит перепроверять раздел после любой правки шаблона.
Обход краулером. Инструмент технического аудита проходит по сайту так же, как поисковый робот, и сравнивает заголовки страниц между собой. Совпадающий заголовок на разных адресах - надёжный сигнал: у нас так нашлось 25 таких пар.
Поиск по фрагменту заголовка. Если вбить в поиск точную фразу из заголовка раздела, в выдаче иногда всплывают лишние адреса с тем же текстом - быстрый способ проверить, что происходит прямо сейчас, без ожидания следующего обхода.
Для раздела с большим числом страниц и активной публикацией эти проверки стоит держать в привычном списке технических работ, как в общем чек-листе, который мы собирали в статье про технический SEO-аудит.
Чек-лист для любого раздела с листалкой
Список пригодится, если в проекте появляется новый раздел с постраничной навигацией - блог, каталог, список кейсов, что угодно с числом карточек больше одной страницы.
- В разделе действительно только один способ листания, а если их два - они согласованы друг с другом.
- Первая страница раздела отдаётся по чистому адресу, без параметра и без служебного номера страницы.
- Начиная со второй страницы адрес-оригинал ведёт сам на себя, а не на первую страницу.
- В заголовке страниц со второй и далее есть номер страницы.
- Служебные ссылки на соседние страницы либо отсутствуют, либо ведут на существующие адреса.
- Номер страницы за пределами реального количества карточек отдаёт код 404, а не пустой список и не копию первой страницы.
- Адреса пагинации не попадают в карту сайта.
- Раздел с изменённым шаблоном проверяется краулером повторно: правки в теме иногда возвращают старое поведение.
Что теперь проверяем в любом новом разделе
С момента правки полные дубли по всем четырём разделам закрылись: несуществующие адреса пагинации отдают 404, служебная ссылка на следующую страницу больше не указывает роботу неверный путь, а у каждой страницы листания свой заголовок и свой адрес-оригинал. Ускорять индексацию новых материалов после такой правки помогают и обычные приёмы - собрали их в статье про способы ускорить индексацию.
Пагинация сама по себе не проблема. Проблема - в паре мест, где движок сайта и SEO-настройки расходятся друг с другом и начинают противоречить. Проверять эту связку стоит при каждом новом разделе с числом карточек больше одной страницы, а не только тогда, когда аудит уже нашёл дубли.
Если на вашем сайте раздел с пагинацией никто не проверял с момента запуска, это частая находка при работе с SEO-продвижением: такие дубли редко видны на глаз и почти всегда обнаруживаются только на техническом аудите.

