Sitemap.xml и robots.txt: настройка с примерами кода

Настройка sitemap robots - первый технический шаг при запуске сайта. Без неё поисковик ищет страницы вслепую, тратит краулинговый бюджет на мусор и не видит части каталога. Два файла дают +20-40% к скорости индексации в первый месяц.

Это практический гайд для владельца сайта в Санкт-Петербурге. Внутри готовые шаблоны кода для интернет-магазина и корп.сайта, лимиты Яндекса и Google в 2026, 7 частых ошибок, проверка в Вебмастере. Время чтения - 11 минут.

Материал собран на опыте Сайты2.рф. Студия в Кронштадте с 2008 года, 550+ проектов, NPS 9,2, средний рост заявок ×2,4, CR 4,8%. В стеке - 1С-Битрикс, WordPress, Tilda, Modx, Laravel, Ahrefs, Топвизор, KeyCollector, Яндекс.Вебмастер, Google Search Console.

Что такое sitemap.xml и robots.txt

Это два корневых файла сайта. Лежат по адресам /sitemap.xml и /robots.txt. Поисковый робот читает их первыми при заходе на домен.

• Sitemap.xml - карта в формате XML. Перечисляет страницы, которые вы хотите видеть в индексе. Помогает роботу найти всё за один обход.
• Robots.txt - текстовый файл с правилами для роботов. Указывает, что НЕ нужно сканировать. Сюда попадают админка, корзина, технические страницы.

Деталь, которую часто упускают. Robots.txt управляет краулингом, не индексацией. Если на закрытую в robots страницу ведут внешние ссылки, она попадёт в индекс без контента. Для запрета индексации используют meta-тег noindex или HTTP-заголовок X-Robots-Tag.

Sitemap.xml: формат и теги

Файл соответствует протоколу sitemaps.org. Минимальный валидный sitemap содержит четыре тега на страницу.

• loc - полный URL страницы. Обязательный.
• lastmod - дата последнего изменения в формате ISO 8601. Необязательный, но Google и Яндекс его учитывают для пересканирования.
• changefreq - частота обновления (always, hourly, daily, weekly, monthly, yearly, never). В 2026 поисковики игнорируют этот тег, но он не вреден.
• priority - приоритет от 0.0 до 1.0. Тоже игнорируется, оставляйте по умолчанию 0.5 или 1.0 для главной.

Работают два тега: loc и lastmod. На корректность lastmod Яндекс смотрит особенно внимательно. Не подсовывайте текущую дату всем страницам - робот перестанет доверять сигналу.

Кроме обычного, есть специализированные форматы.

• Image sitemap - дополнительный тег image:image для изображений. Нужен интернет-магазинам и фотобанкам.
• Video sitemap - метаданные видео (длина, превью, описание). Нужен сайтам с видеоконтентом.
• News sitemap - для Яндекс.Новостей и Google News. Только для зарегистрированных СМИ.
• Hreflang в sitemap - для мультиязычных сайтов. Альтернатива тегам в head.

Большинству сайтов хватает XML-sitemap.

Лимиты и Sitemap Index

Один файл sitemap.xml вмещает до 50 000 URL и весит до 50 МБ в распакованном виде. Для большинства сайтов хватает с запасом.

Если страниц больше, делается Sitemap Index - файл-оглавление, который ссылается на несколько обычных sitemap. Структура для интернет-магазина с 200 000 товаров:

/sitemap.xml (Sitemap Index)
  -> /sitemap-pages.xml (статические страницы)
  -> /sitemap-categories.xml (разделы каталога)
  -> /sitemap-products-1.xml (товары 1-50000)
  -> /sitemap-products-2.xml (товары 50001-100000)
  -> /sitemap-products-3.xml (товары 100001-150000)
  -> /sitemap-products-4.xml (товары 150001-200000)
  -> /sitemap-blog.xml (статьи блога)

Дробление по типам страниц удобно для аналитики в Вебмастере. Видно, какой раздел индексируется быстрее.

Готовый код sitemap.xml

Минимальный валидный sitemap для корп.сайта на 5 страниц:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.ru/</loc>
    <lastmod>2026-05-14</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://example.ru/services/</loc>
    <lastmod>2026-05-10</lastmod>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://example.ru/services/seo/</loc>
    <lastmod>2026-04-28</lastmod>
    <priority>0.7</priority>
  </url>
  <url>
    <loc>https://example.ru/about/</loc>
    <lastmod>2026-03-15</lastmod>
    <priority>0.5</priority>
  </url>
  <url>
    <loc>https://example.ru/contacts/</loc>
    <lastmod>2026-03-15</lastmod>
    <priority>0.5</priority>
  </url>
</urlset>

Файл-оглавление для большого сайта:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://example.ru/sitemap-pages.xml</loc>
    <lastmod>2026-05-14</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.ru/sitemap-products.xml</loc>
    <lastmod>2026-05-14</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.ru/sitemap-blog.xml</loc>
    <lastmod>2026-05-13</lastmod>
  </sitemap>
</sitemapindex>

Все URL с https:// и абсолютным путём. Относительные пути не работают.

Как генерировать в CMS

Ручная правка XML на живом сайте - плохая практика. Файл должен обновляться автоматически при добавлении страниц.

1С-Битрикс

В админке: Маркетинг - Поисковая оптимизация - Настройка sitemap.xml. Указываете разделы для включения, расписание автообновления (раз в сутки или при сохранении). Битрикс делает Sitemap Index сам, если страниц больше 50 000.

WordPress

Встроенный sitemap с версии 5.5 - лежит по адресу /wp-sitemap.xml. Управляется ограниченно. Для гибкости ставят плагин Yoast SEO или Rank Math. Оба умеют дробить по типам записей и автоматически обновлять lastmod.

Tilda

Sitemap генерируется автоматически по адресу /sitemap.xml. Настройка минимальна: в Настройках сайта - SEO - Sitemap включается генерация. Tilda сама обновляет файл при публикации страниц.

Modx Revolution

Через дополнение pdoSitemap или xSitemap. Шаблон с шаблонными переменными подставляет lastmod из поля editedon. Кэширование через cache-handler ускоряет отдачу больших sitemap.

Laravel и кастомные CMS

Пакет spatie/laravel-sitemap или ручная генерация через крон-задачу раз в час. Записывайте файл в public/sitemap.xml, не отдавайте через PHP - это медленно.

Robots.txt: директивы и логика

Файл лежит в корне домена, кодировка UTF-8 без BOM. Размер до 500 КБ. Блок начинается с User-agent, дальше идут правила.

Директивы:

• User-agent - для какого робота правила. * - все. Yandex - все роботы Яндекса. Googlebot - основной робот Google.
• Disallow - запрет краулинга. Путь от корня. Звёздочка как маска.
• Allow - явное разрешение. Используется внутри запрещённых разделов.
• Sitemap - абсолютный URL карты сайта. Можно указать несколько.
• Crawl-delay - задержка между запросами в секундах. Яндекс уважает, Google игнорирует с 2019 года.

Разница с meta noindex и X-Robots-Tag.

• Robots.txt Disallow - робот не сканирует страницу. Может попасть в индекс без контента.
• Meta noindex - робот сканирует, но не индексирует. Для этого страница должна быть открыта в robots.
• X-Robots-Tag - то же самое, но в HTTP-заголовке. Удобно для PDF, изображений, файлов.

Если хотите убрать страницу из выдачи - закройте через noindex, не через robots.txt.

Готовый robots.txt для интернет-магазина

Полный шаблон для типового магазина на Битриксе или WordPress:

User-agent: *
Disallow: /admin/
Disallow: /bitrix/
Disallow: /local/
Disallow: /upload/
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/
Disallow: /personal/
Disallow: /auth/
Disallow: /*?
Disallow: /*&
Disallow: /*sort=
Disallow: /*order=
Disallow: /*filter=
Disallow: /*page=
Disallow: /*utm_
Disallow: /*from=
Disallow: /*gclid=
Disallow: /*yclid=
Disallow: /print/
Disallow: /*?print=
Allow: /upload/iblock/
Allow: /bitrix/templates/

User-agent: Yandex
Disallow: /admin/
Disallow: /bitrix/
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/
Disallow: /personal/
Disallow: /*?
Disallow: /*utm_
Disallow: /*yclid=
Allow: /upload/iblock/
Allow: /bitrix/templates/
Clean-param: utm_source&utm_medium&utm_campaign&yclid&gclid

Sitemap: https://example.ru/sitemap.xml

Disallow /*? закрывает все URL с параметрами одним правилом. Закрываются фильтры, сортировка, метки, пагинация. Открываете обратно через Allow только нужное (карточки товара с параметрами).

Clean-param - директива Яндекса. Указывает параметры, которые нужно склеивать. Вместо запрета говорим: "одна страница с разными метками = одна страница в индексе".

Готовый robots.txt для корп.сайта

Для сайта услуг на 50-200 страниц правила проще:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache/
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: /?s=
Disallow: /*?utm_
Disallow: /*?yclid=
Disallow: /*?gclid=
Disallow: /*?from=
Disallow: /trackback/
Disallow: /feed/
Disallow: /*/feed/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /*.css
Allow: /*.js

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /search/
Disallow: /?s=
Disallow: /*?utm_
Disallow: /trackback/
Disallow: /feed/
Allow: /wp-content/uploads/
Allow: /*.css
Allow: /*.js
Clean-param: utm_source&utm_medium&utm_campaign&yclid&gclid&from

Host: https://example.ru
Sitemap: https://example.ru/sitemap.xml

Директива Host устаревшая, но не вредит. Яндекс в 2026 определяет главное зеркало автоматически по 301-редиректам.

Allow для CSS и JS обязателен. Google рендерит страницу как браузер. Без CSS и JS он видит сломанную вёрстку и снижает позиции в мобильной выдаче. Эта же логика влияет на Core Web Vitals и общую оценку сайта.

7 частых ошибок

Что чаще всего ломает индексацию у клиентов из СПб, Гатчины и Выборга, которые приходят к нам с проблемой "сайт не растёт".

1. Закрыли весь сайт через Disallow: / - забыли убрать после разработки. Проверка через Вебмастер показывает 0 страниц в индексе.
2. Закрыли CSS и JS - Google видит голый HTML, мобильная версия "ломается", позиции падают на 30-50%.
3. Sitemap.xml содержит закрытые в robots страницы - сигналы противоречат, краулинговый бюджет тратится впустую.
4. В sitemap страницы с 404 или 301 - робот теряет доверие к карте, начинает реже её перечитывать.
5. Lastmod = сегодняшняя дата на всех страницах - сигнал обесценивается, частота обхода падает.
6. Не закрыли фасетные фильтры в магазине - сотни тысяч мусорных URL, краулинговый бюджет уходит в дубли.
7. Sitemap отдаётся не от корня - например, лежит в /files/sitemap.xml. Поисковики ищут только в корне или по ссылке из robots.txt.

Седьмая ошибка решается двумя строчками: пишете путь в robots.txt и добавляете в Вебмастер вручную.

Проверка в Вебмастере и Search Console

После загрузки файлов на сервер проверьте их через панели вебмастеров. Это часть технического SEO-аудита при запуске.

Яндекс.Вебмастер

• Раздел "Анализ robots.txt" - проверяет синтаксис, показывает закрытые/открытые URL по примерам.
• Раздел "Файлы Sitemap" - валидирует XML, показывает количество URL и ошибки.
• Раздел "Статистика обхода" - сколько страниц робот посетил за день.
• Раздел "Страницы в поиске" - сколько реально в индексе.

Google Search Console

• Раздел "Sitemap" - добавляете путь, видите статус "Успешно" и число обработанных URL.
• Раздел "Покрытие" (Pages) - показывает проиндексированные, исключённые и ошибки.
• Инструмент "Проверка URL" - показывает статус каждой страницы и причины исключения.
• Тестер robots.txt в "Настройках" - проверка по конкретным путям.

Полная индексация после правильной настройки занимает 2-8 недель в зависимости от размера сайта и его авторитета.

Экспресс-чек за 30 минут

Если у вас уже есть сайт, и вы не знаете, всё ли в порядке - пройдите 6 шагов.

1. Откройте https://ваш-сайт.ru/robots.txt. Файл открывается? Содержит Sitemap? Не закрыт ли весь сайт через Disallow: /?
2. Откройте https://ваш-сайт.ru/sitemap.xml. Открывается? URL абсолютные с https? Lastmod не одинаковый у всех?
3. В Яндекс.Вебмастере в "Файлы Sitemap" статус "Успешно"? Число URL близко к ожидаемому?
4. В Search Console раздел "Sitemap" статус "Успешно"? Раздел "Покрытие" - сколько страниц проиндексировано?
5. Проверьте 3-4 случайные URL через "Проверка URL" в Search Console. Все доступны для индексации?
6. Сравните число страниц в sitemap и число в индексе. Разница больше 30% - есть проблема. Меньше - всё в порядке.

Этот чек ловит 80% проблем. Остальные 20% выходят на полном тех.SEO-аудите с разбором логов сервера.

FAQ

Нужен ли sitemap.xml маленькому сайту на 10 страниц

Технически нет - робот найдёт всё через перелинковку. Практически да - sitemap ускоряет индексацию новых страниц на 1-2 недели и даёт сигнал lastmod при обновлениях.

Что делать, если sitemap больше 50 000 URL

Делать Sitemap Index с разбивкой на файлы по 30-40 тысяч URL. Дробить логически: товары отдельно, статьи отдельно, статические страницы отдельно. Это упрощает диагностику в Вебмастере.

Как часто обновлять robots.txt

При структурных изменениях: запуск нового раздела, смена CMS, добавление поддомена. В обычной работе раз в 6-12 месяцев пересматривать на актуальность. После каждой правки - проверка в Анализаторе Вебмастера.

Можно ли в robots.txt закрыть конкретного робота

Да. Блок User-agent: AhrefsBot плюс Disallow: / запретит роботу Ahrefs сканировать сайт. Аналогично закрываются SemrushBot, MJ12bot и другие SEO-краулеры. Поисковых роботов (Yandex, Googlebot) закрывать не нужно - это блокирует индексацию.

Где брать lastmod для страниц без дат

Из CMS - дата последнего сохранения записи. В Битриксе это поле TIMESTAMP_X. В WordPress - post_modified. На самописных сайтах - дата изменения файла или времени UPDATE в БД. Главное - не подставлять текущую дату всем подряд.

Влияет ли robots.txt на скорость сайта

Прямо нет. Косвенно - да. Если закрыли мусорные разделы, робот тратит краулинговый бюджет на полезные страницы. Это часть работы по ускорению сайта и оптимизации индексации.

Что в итоге

Грамотная настройка sitemap robots даёт три эффекта: новые страницы попадают в индекс за дни, а не за недели; робот не тратит бюджет на дубли; в Вебмастере видна понятная аналитика обхода. Без этих файлов сайт работает на 30-50% возможностей.

Если продвигаете сайт в Санкт-Петербурге - в Сайты2.рф настраиваем sitemap.xml и robots.txt в составе технического SEO-аудита или базового пакета SEO. Студия в Кронштадте, опыт с 2008 года, 550+ проектов, NPS 9,2. Бесплатная проверка ваших файлов за 24 часа.

Заказать SEO-продвижение - Рассчитать стоимость - Telegram: @t9424744

Читайте также

• Технический SEO-аудит сайта
• SEO-продвижение: с чего начать
• Региональное SEO в СПб
• Как ускорить сайт
• Core Web Vitals в 2026
• Сбор семантического ядра