Ускорить индексацию сайта можно, а гарантировать её нельзя: решение принимает поисковик. В наших руках только две вещи - убрать препятствия и подать понятный сигнал. Разбираем семь способов и показываем, как это устроено на нашем собственном сайте.
Вопрос возникает почти у каждого клиента после запуска. Статью выложили в понедельник, в пятницу её в поиске нет, ещё через неделю тоже. Дальше обычно начинается лихорадочная отправка всех адресов подряд, а причина в это время лежит в трёх строчках служебного файла.
Что происходит между публикацией и поиском
Между "страница опубликована" и "страница даёт трафик" три отдельных этапа, и путать их дорого.
Сначала робот должен узнать об адресе: из карты сайта, по внутренней ссылке, из внешнего упоминания или из прямого уведомления. Потом зайти и скачать содержимое - это обход. И только затем алгоритм решает, добавлять страницу в индекс.
Отсюда практический вывод: ускорить можно первый и второй этап. Третий не ускоряется ничем, кроме качества самой страницы. Если страница в индексе, но по запросу висит на восьмидесятой позиции, это не проблема индексации, а вопрос ранжирования, и лечится он совсем другими средствами.
Шесть причин, по которым страница не попадает в индекс
Прежде чем что-то ускорять, стоит убедиться, что дорога не перекрыта.
Закрыт доступ. Правило в robots.txt или метатег noindex в коде страницы. Классика: сайт разрабатывали на тестовом поддомене под запретом, выложили на боевой и забыли снять. Проверяется за минуту, а стоит месяцев ожидания. Разбор обоих файлов с примерами есть в статье про sitemap.xml и robots.txt.
На страницу нет ни одной внутренней ссылки. Она существует, но добраться до неё можно только по прямому адресу. Робот про такую страницу узнаёт разве что из карты сайта, и приоритет у неё низкий.
Канонический адрес ведёт на другую страницу. Движок или плагин проставил canonical на главную или на родительский раздел. Для поисковика это прямая просьба не индексировать текущий адрес.
Сервер отвечает медленно или с ошибками. Если робот регулярно получает таймауты и пятисотые ошибки, он снижает частоту обхода. Это не наказание, а разумная осторожность: не класть чужой сервер.
Содержимое слишком тонкое. Карточка товара из двух строк характеристик, страница фильтра, отличающаяся от соседней одним словом, скопированное описание производителя. Такие адреса поисковик обходит и не берёт.
Сайт молодой. У домена без истории первые месяцы всё идёт медленно, и это нормально. Что с этим делать, подробно разобрано в материале про продвижение молодого сайта.
Способы 1-3: сказать поисковику напрямую
Способ 1. Переобход в панели вебмастера. Самый прямой канал. В Яндекс.Вебмастере это раздел индексирования с формой отправки адресов, в Google Search Console - проверка URL и кнопка запроса индексирования. Квота ограничена: у небольшого сайта это порядок десятка-другого адресов в сутки. Тратить её надо на важное: новую услугу, переписанную посадочную страницу, свежую статью. Отправлять туда весь сайт бессмысленно.
Способ 2. Карта сайта, которая не врёт. Sitemap.xml нужен не столько для скорости, сколько для полноты: по нему поисковик сверяет, ничего ли не пропустил. Три условия, без которых карта работает против вас: в ней только страницы, отдающие код 200, без закрытых и редиректных адресов; дата последнего изменения меняется тогда, когда правда менялось содержимое; карта обновляется автоматически, а не руками раз в квартал. Лимит на один файл - 50 000 адресов, дальше карта разбивается на несколько с индексным файлом.
Способ 3. Мгновенное уведомление. Протокол IndexNow позволяет пингануть поисковик в момент публикации: сайт сам отправляет адрес, не дожидаясь, пока робот заглянет по расписанию. Яндекс его поддерживает. У нас на сайты2.рф это встроено в тему: как только запись переходит в статус "опубликовано", уходит запрос с адресом, а последние отправки складываются в журнал, чтобы можно было убедиться в факте. Настройка описана в отдельной статье про IndexNow. Оговорка та же: протокол сообщает об адресе, но не обязывает поисковик его взять.
Способы 4-6: сделать так, чтобы робот дошёл сам
Способ 4. Ссылка с посещаемой страницы. Робот чаще заходит туда, где чаще что-то меняется и куда идёт трафик. Обычно это главная, разделы услуг и хаб блога. Поставить ссылку на новую страницу с такой страницы полезнее, чем с десяти глубоких. Практическое правило: до любой важной страницы должно быть не больше трёх кликов от главной.
Способ 5. Внешние упоминания. Ссылка или просто адрес страницы в вашем канале, в карточке компании, в отраслевом сообществе, в комментарии по делу. Это работает не столько как ссылочный вес, сколько как дополнительная точка входа для робота. Заодно капает в общую копилку авторитета сайта - показатель, который у Яндекса виден как ИКС.
Способ 6. Регулярность публикаций. Сайт, который обновляется по вторникам и пятницам, обходится чаще сайта, который ожил впервые за год. Проверяли на своём блоге: пока публикации шли пачками с провалами по два месяца, новые статьи ждали индексации неделями. После перехода на ежедневный график срок сократился до нескольких дней. Никакой магии, просто робот подстраивает частоту визитов под ваш ритм.
Способ 7: убрать мусор и освободить бюджет обхода
У каждого сайта есть примерный лимит страниц, которые робот скачивает за визит. Если половина этого лимита уходит на комбинации фильтров, страницы сортировки, служебные адреса и битые ссылки, до новых материалов очередь доходит медленнее.
Что чистить в первую очередь:
- бесконечные комбинации фильтров и параметров сортировки - закрыть от индексации или свести каноническими адресами;
- страницы поиска по сайту и пустые категории;
- цепочки редиректов длиннее одного шага;
- битые ссылки, отдающие 404 внутри сайта;
- дубли с www и без, с обычным протоколом и защищённым, со слешем на конце и без.
Найти всё это разом помогает регулярная техническая проверка: порядок действий и список пунктов есть в статье про технический SEO-аудит.
Как проверять индексацию, чтобы не обмануться
Самый частый способ проверки самый бесполезный: вбить название статьи в поиск и не найти её на первой странице. Это ничего не говорит об индексе.
Точный ответ даёт панель вебмастера. В Яндексе есть список страниц в поиске с историей добавлений и исключений, причём с указанием причины исключения - это самое ценное. В Google Search Console работает проверка конкретного адреса: она показывает, известен ли адрес, когда робот заходил в последний раз и что помешало.
Поисковые операторы дают приблизительную картину, и с ними надо быть осторожным. Мы на своём домене получали ровно один результат по одному оператору при явно большем охвате, и только другой оператор показал реальное количество. Методику всегда стоит проверять на чужом сайте, про который вы точно знаете, что он в индексе: если и там результат подозрительно круглый, дело в операторе, а не в вашем сайте.
Сколько ждать в норме
Ориентиры из нашей практики. Живой сайт с регулярными публикациями: 3-10 дней в Яндексе, в Google часто в течение суток. Сайт, который обновляется редко: до двух-трёх недель. Новый домен без истории: первые страницы могут ждать месяц и дольше, и никакие отправки этого не сокращают.
Если прошло больше месяца, а страницы нет и в панели вебмастера по ней нет никаких сведений, проблема не в скорости. Возвращайтесь к шести причинам из начала статьи.
Что делать бесполезно и вредно
Отправлять на переобход все адреса подряд. Квота сгорает, приоритет размывается, важные страницы стоят в общей очереди.
Заказывать прогоны по каталогам и биржам. За сутки сайт получает несколько сотен ссылок из мест, где нет живых людей. Индексацию это не ускоряет, а вот шлейф спамных ссылок остаётся надолго.
Покупать сервисы гарантированной индексации. Гарантировать индексацию не может никто. В лучшем случае вам продают то же самое, что бесплатно делает панель вебмастера.
Накручивать поведенческие факторы. К индексации это отношения не имеет вообще, а санкции получить можно.
Публиковать пачками ради объёма. Тридцать тонких страниц за день дадут обратный эффект: часть не возьмут в индекс, а доверие к сайту просядет.
Чек-лист для новой страницы
Порядок, по которому мы прогоняем каждую новую страницу перед тем, как считать работу законченной:
- Открыть страницу в режиме инкогнито и убедиться, что она отдаётся без авторизации и без ошибок.
- Проверить, что в коде нет noindex, а адрес не закрыт правилом в robots.txt.
- Убедиться, что canonical указывает сам на себя.
- Поставить минимум одну ссылку с посещаемой страницы: из раздела, из хаба, из соседней статьи по теме.
- Проверить, что адрес попал в карту сайта и дата изменения в ней свежая.
- Дождаться автоматической отправки уведомления или отправить страницу на переобход руками.
- Через неделю посмотреть статус в панели вебмастера, а не в выдаче.
Семь пунктов занимают минут десять и снимают процентов девяносто вопросов "почему страницы нет в поиске".
С чего начинать, если в индексе пусто
Порядок действий обратный привычному. Сначала снять запреты и починить каноникалы, потом наладить карту сайта и перелинковку, и только затем заниматься отправкой на переобход и уведомлениями. Отправлять на индексацию страницу, закрытую метатегом, можно бесконечно.
И честная оговорка, ради которой стоило всё это писать: ни один из семи способов не обещает результата. Они убирают препятствия и сокращают ожидание, а решение остаётся за алгоритмом. Зато страница, которая прошла чек-лист, обычно оказывается в поиске в те самые несколько дней.
Если сайт давно опубликован, а в индексе висят полторы страницы, разбираться надо не с приёмами по отдельности, а со всей технической картиной сразу. Мы делаем такой разбор в рамках SEO-продвижения и начинаем как раз с индексации: без неё остальная работа не имеет смысла.
