Что такое файл robots.txt?

robots.txt - это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно сканировать, а какие закрыты от индексации. Он не защищает страницы паролем и не прячет их от людей - это просто рекомендация для роботов, которую добросовестные поисковики вроде Яндекса и Google соблюдают.

Файл лежит по адресу вашсайт.ru/robots.txt и состоит из простых директив: User-agent указывает, какого робота касается правило, Disallow закрывает раздел от сканирования, Allow разрешает исключение внутри закрытого раздела, а строка Sitemap указывает путь к карте сайта. Синтаксис формализован в 2022 году как открытый стандарт IETF RFC 9309, до этого десятилетиями работал как неофициальное соглашение, которое тем не менее поддерживали все крупные поисковики.

Типичная ошибка - закрыть от индексации весь сайт директивой Disallow: / и забыть об этом после смены CMS или переезда на новый домен; тогда сайт целиком выпадает из поиска, хотя внешне все выглядит рабочим. Вторая частая ошибка - пытаться спрятать через robots.txt конфиденциальные страницы: файл открыт всем желающим, и адрес закрытого раздела в нем виден без всякого пароля.

Проверить свой файл просто: откройте вашсайт.ru/robots.txt в браузере и посмотрите содержимое, либо загляните в раздел "Инструменты" Яндекс.Вебмастера или Google Search Console - там есть отдельная проверка robots.txt с подсказками об ошибках в синтаксисе.