Robots.txt

Robots.txt

Robots.txt - текстовый файл с инструкциями для поисковых роботов, какие страницы сайта можно индексировать, а какие нельзя. Размещается в корне сайта (например, сайты2.рф/robots.txt). Первый файл, на который смотрят поисковики при заходе на сайт.

Обновлено: 23 августа 2026г.

Что такое robots.txt

Robots.txt простыми словами

Это правила для Яндекса и Google: "сюда можно заходить, сюда нельзя". Например, можно запретить индексировать админку, тестовые страницы, дубликаты. Что-то закроем от индексации, остальное - открыто для поисковика.

Что обычно закрывают от индексации

Админку (/wp-admin/, /bitrix/, /admin/)
Корзину и оформление заказа
Личный кабинет пользователя
Страницы поиска по сайту
Тестовые страницы и черновики
Технические страницы (/cgi-bin/, /tmp/)
Дубли страниц с параметрами фильтров

Пример robots.txt

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/
Allow: /

User-agent: Yandex
Crawl-delay: 1.5

Sitemap: https://сайты2.рф/sitemap.xml

Основные директивы

User-agent. К какому роботу относятся правила. * - все, Yandex - только Яндекс, Googlebot - только Google.
Disallow. Запрет индексации указанного раздела.
Allow. Разрешение индексации (приоритетнее Disallow).
Sitemap. Указание расположения карты сайта.
Crawl-delay. Задержка между запросами робота (для слабых серверов).
Clean-param. Указание ненужных параметров URL для Яндекса.

Распространённые ошибки

Полная блокировка сайта. Disallow: / запрещает индексировать всё. Иногда забывают убрать после разработки.
Закрытие важных разделов. Случайно закрывают папку с CSS и JS - сайт ломается в индексе.
Указание sitemap внутри блока user-agent. Sitemap пишется отдельно, не привязан к user-agent.
Отсутствие robots.txt. Файл должен быть обязательно. Без него поисковики индексируют всё, включая лишнее.

Как проверить robots.txt

Яндекс.Вебмастер. Раздел "Инструменты - Анализ robots.txt".
Google Search Console. Раздел "Robots.txt Tester".
Самостоятельно. Открыть в браузере: сайт.ru/robots.txt