Как создать robots.txt для сайта?

robots.txt - это обычный текстовый файл в корне сайта, который командует поисковым роботам, какие разделы можно сканировать, а какие нет; создаётся он в любом текстовом редакторе, даже в Блокноте, без специального софта - главное сохранить его именно с именем robots.txt и положить в корневую папку сайта, чтобы он открывался по адресу вашсайт.ru/robots.txt.

Для большинства обычных сайтов достаточно закрыть от индексации только служебные разделы - страницы административной панели, корзину, результаты внутреннего поиска, технические дубли страниц с параметрами сортировки и фильтров - и указать путь к карте сайта. Простой безопасный вариант выглядит так:

User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /search/ Sitemap: https://вашсайт.ru/sitemap.xml

Здесь строка "User-agent: *" означает правило для всех роботов, а каждая строка Disallow закрывает конкретный раздел. Если оставить Disallow пустым, это разрешает сканирование всего, а вот "Disallow: /" с одним слэшем закрывает от индексации абсолютно весь сайт - это самая частая и самая болезненная ошибка: сайт вроде работает, а в поиске его просто нет, потому что роботам запрещено даже заходить.

Прежде чем публиковать файл на боевой сайт, проверьте его через инструмент анализа robots.txt в Яндекс.Вебмастере или через отчёт по индексированию в Google Search Console - оба сервиса бесплатно показывают, какие страницы файл закрывает и открывает, и это надёжнее, чем проверять на глаз. Если конструктор сайта уже сам генерирует базовый robots.txt при создании, для начала проще проверить и при необходимости точечно дополнить его, чем писать файл с нуля и случайно упустить что-то важное, что конструктор уже закрывал автоматически.