IndexNow подключён на этом самом сайте, и мы видим в логе, что уходит в Яндекс и что он отвечает. Протокол действительно сокращает срок попадания новой страницы в индекс, но работает не так и не в том объёме, как обычно ожидают. Разбираем на своём внедрении, а не по документации.
Вопрос обычно звучит так: статью выложили в понедельник, а в поиске она появилась через полторы недели, можно ли быстрее. Раньше ответ был один - ждите обхода. С 2021 года есть протокол, который позволяет сказать поисковику: вот новый адрес, загляни.
Что протокол делает и чего он не делает
IndexNow отправляет поисковику одно короткое сообщение: по такому-то адресу что-то изменилось. Изменилось - это любое из трёх: страница появилась, страница обновилась, страница удалена. Поисковик ставит адрес в очередь на обход.
Дальше начинается список того, чего протокол не делает, и он важнее первого абзаца:
- Не гарантирует обход. Уведомление получено, но робот приходит тогда, когда решит сам. На нашей практике по свежим статьям это часы, но обещания в протоколе нет.
- Не влияет на позиции. Отправка адреса не является сигналом качества. Страница ранжируется по тем же правилам, что и раньше.
- Не заменяет карту сайта. Sitemap описывает весь сайт целиком, IndexNow сообщает про один адрес в момент изменения. Это разные инструменты, и они не конкурируют.
- Не заменяет Яндекс.Вебмастер. Регион, настройки обхода, диагностика, статистика запросов остаются там, протокол не даёт ничего из этого.
- Не помогает пустой странице. Если контента и спроса нет, ускоренный обход лишь быстрее приведёт к отказу.
Как устроено внедрение: ключ, файл, запрос
Механика состоит из трёх частей.
Ключ. Строка из букв и цифр длиной от 8 до 128 знаков, обычно случайная строка в 32 знака. Генерируется один раз и больше не меняется. Секретом он не является: по устройству протокола ключ публичный.
Файл с ключом в корне сайта. Текстовый файл, имя которого совпадает с самим ключом, а внутри лежит тот же ключ и больше ничего. Так поисковик убеждается, что адресами распоряжается владелец сайта, а не посторонний.
Запрос при публикации. Когда страница вышла, сайт отправляет поисковику адрес и ключ. Технически это обычный HTTP-запрос: либо один адрес строкой, либо список адресов в теле запроса (за раз разрешено до 10 000, но малому сайту такие пачки не нужны).
Кто участвует в протоколе
Яндекс, Bing, Seznam, Naver, Yep. Участники делятся полученными уведомлениями между собой, поэтому отправлять в несколько адресов не нужно: достаточно одного запроса.
Google в протоколе не участвует. Для российского бизнеса тут ничего не потеряно: практический смысл IndexNow в рунете держится на Яндексе, а на Google работают карта сайта, перелинковка и внешние ссылки на новую страницу.
Три способа подключить
| Способ | Кому подходит | Затраты |
|---|---|---|
| Плагин или модуль CMS | WordPress, Битрикс, любая система с готовым решением | 0 рублей, 15-30 минут |
| Свой код на событии публикации | самописный сайт или своя тема | 1-3 часа разработчика, порядка 3 000-8 000 рублей |
| Ручная отправка адреса | разовые правки, единичные страницы | бесплатно, но про это забывают на второй неделе |
У нас сделан второй вариант: десяток строк, которые срабатывают при переходе записи в опубликованное состояние. Причина в том, что типов материалов на сайте шесть, и хотелось самим управлять списком того, что отправляется.
Для типового корпоративного сайта на WordPress или Битриксе плагин закрывает вопрос полностью, и городить своё незачем. Проверьте только, что он умеет не отправлять черновики.
Что означают ответы 200 и 202
После отправки поисковик возвращает код. Расшифровка короткая:
- 200 - адрес принят, ключ проверен. Штатный ответ.
- 202 - адрес принят, проверка ключа ещё впереди. Тоже нормальный ответ, чаще всего встречается на первых отправках.
- 400 - запрос собран неправильно, обычно кривой формат адреса.
- 403 - ключ не подтверждён файлом: смотреть, открывается ли файл с ключом в корне.
- 422 - адрес не с того хоста или ключ не совпадает с содержимым файла.
- 429 - отправки идут слишком часто.
Главное, что стоит усвоить: 200 и 202 подтверждают получение уведомления, а не индексацию. Разница между ними на практике не значит ничего, оба означают "принято".
Как убедиться, что это реально работает
Три проверки, которые мы делаем сами и просим делать клиентов.
Файл с ключом. Открыть его адрес в браузере. Должна отдаваться текстовая строка с ключом и код 200. Если видите страницу 404 сайта - протокол не заработает, каким бы правильным ни был код отправки.
Лог отправок. Внедрение стоит сразу писать журнал: адрес, код ответа, время. Мы храним последние 20 отправок в настройках сайта, этого хватает, чтобы после публикации за минуту убедиться, что уведомление ушло и получило 200. Без журнала проверить это нечем.
Дата обхода в Вебмастере. Через сутки после публикации посмотрите в Вебмастере дату последнего обхода новой страницы. Если она совпадает с днём публикации, связка работает. Этот же приём полезен при разборе других проблем обхода, мы описывали его в статье про технический SEO-аудит.
Ошибки, которые встречаются чаще всего
Ключ в запросе не совпадает с содержимым файла. Классика при переносе сайта или смене хостинга: файл потеряли, ключ в настройках остался. Ответ 403, отправки уходят в никуда, а никто этого не замечает, потому что лога нет.
Файл с ключом отдаётся движком, а не с диска. На сайтах с человекопонятными адресами все запросы уходят в CMS, и она отвечает страницей 404 вместо файла. Лечится правилом на уровне сервера: если файл существует, отдавать его напрямую.
Отправка всех адресов сайта скопом. Раз в сутки выгружается карта сайта и целиком уходит в IndexNow. Смысла в этом нет: протокол предназначен сообщать об изменениях, а не пересказывать содержимое сайта. Получите 429 и потерю доверия к своим уведомлениям.
Отправка при каждом сохранении черновика. Редактор правит текст десять раз, и десять раз уходит уведомление об одном адресе, причём про страницу, которой ещё нет. Уведомление должно быть привязано к публикации, а не к сохранению записи в любом состоянии. Повторы мы дополнительно отбрасываем на своей стороне: тот же адрес в течение часа второй раз не уходит.
Отправка того, что закрыто от индексации. Адреса, запрещённые в robots.txt или помеченные noindex, отправлять не надо. Как и страницы с редиректом или несуществующие. Про правильную настройку запретов у нас есть отдельный разбор: Sitemap.xml и robots.txt.
Что это дало по срокам на нашей практике
Честные цифры без округления в свою пользу. До подключения новая статья блога попадала в индекс Яндекса в среднем за 7-14 дней. После подключения обход свежей страницы происходит в интервале от нескольких часов до двух-трёх суток, индексация - следом.
Оговорки обязательны. Сайт публикует материалы регулярно, и робот к нему привык: там, где страницы не менялись год, эффект будет слабее. Ускоряется обход, а не решение о включении в индекс. А проблемы с качеством или санкциями протокол не компенсирует, там работают другие меры, о которых мы писали в разборе ИКС Яндекса.
Порядок внедрения за один вечер
- Сгенерировать ключ - длинную случайную строку из букв и цифр.
- Положить в корень сайта текстовый файл, имя которого совпадает с ключом, а содержимое равно ключу.
- Открыть адрес файла в браузере и убедиться, что отдаётся код 200 и текст ключа.
- Поставить плагин CMS или добавить отправку на событие публикации.
- Ограничить список типов материалов, которые отправляются. Черновики, служебные и закрытые страницы исключить.
- Добавить дедупликацию: повторная отправка того же адреса в течение часа отбрасывается.
- Завести журнал отправок с кодами ответов, хотя бы на два десятка последних записей.
- Опубликовать тестовую страницу и проверить, что в журнале появилась запись с кодом 200 или 202.
- Через сутки сверить дату обхода этой страницы в Вебмастере.
Пункты 5-7 и отличают рабочее внедрение от формального: без них протокол вроде бы подключён, но проверить это нечем.
Место IndexNow в общей картине
IndexNow - дешёвая и полезная деталь технической настройки, но не рычаг роста. Он сокращает путь от публикации до обхода с недели до суток и меньше, и на этом его полномочия заканчиваются: ни позиций, ни трафика он не добавляет. Подключается за вечер, стоит либо ноль, либо пару часов работы разработчика, а окупается на сайтах, где контент выходит регулярно. Держите его вместе с картой сайта и Вебмастером, а не вместо них.
Смежные вопросы про сроки индексации и технический минимум разобраны в FAQ, там же ответы на то, что обычно спрашивают следом. Что делать дальше, когда этот минимум закрыт, разбирали в статье про первые шаги в SEO и на странице SEO-продвижения.
