Что произошло и как нашли утечку
Техническая причина: конфликт между disallow и noindex
Проблема в том, что директиву noindex робот должен сначала прочитать. Если доступ к странице заблокирован в robots.txt, робот не может загрузить ее содержимое и не видит инструкцию noindex. Google может узнать о существовании URL из других источников, например, если на него ведут ссылки с других сайтов. Поисковик может проиндексировать URL, отобразив его в результатах поиска, даже не заходя на страницу. Это произошло с чатами Claude.
Ответ компаний и разъяснения Google
Этот инцидент демонстрирует принципиальное различие между директивами. Как пояснял представитель Google Джон Мюллер, страницы, заблокированные в robots.txt, все равно могут появляться в результатах поиска, если на них есть ссылки с других страниц. Если нужно гарантированно убрать страницу из индекса, правильным выбором является тег "noindex", который робот может прочитать. Специалист Google Мартин Сплитт рекомендует избегать одновременного применения обоих правил к одной и той же странице. Блокировка URL через robots.txt не удаляет уже проиндексированные страницы. Для окончательного удаления необходимо использовать читаемый краулером тег noindex, а затем запросить удаление через Google Search Console.
Практические выводы для владельцев сайтов и пользователей AI
Для владельцев сайтов ключевой вывод заключается в понимании разницы между управлением сканированием и управлением индексацией. Robots.txt - инструмент для первого, а метатеги noindex/nofollow и соответствующие HTTP-заголовки - для второго. Их нельзя использовать конфликтующим образом. Если ваша цель - не допустить появления страницы в поиске, вы должны разрешить роботу доступ к ней, но дать четкую инструкцию noindex.
Для пользователей AI-сервисов ситуация иная. Они не контролируют технические настройки, которые сервис отправляет поисковым роботам. Поэтому важно осознавать риски, связанные с функцией "поделиться ссылкой". Любой неотозванный чат или "артефакт" доступен всем, у кого есть прямая ссылка. В Claude список общих чатов можно найти в Настройках > Конфиденциальность > Общие чаты. Отзыв доступа по ссылке отключает прямую ссылку, но удаление URL из индекса Google - это отдельная задача, которой занимается компания-разработчик. Отзыв чата и снятие с публикации "артефакта" из этого чата - два разных действия. Самый надежный способ защитить конфиденциальность - установить внутреннее правило: если в чате есть что-то, что вы не стали бы публиковать в открытом доступе, не делитесь им через публичную ссылку, которая потенциально может быть проиндексирована. Относитесь к публичной ссылке на AI-чат как к публичной веб-странице с момента ее создания.
