Апдейты robots.txt 2025

Вот переписанная новость с сохранением смысла:

---

Google обновил управление индексацией через meta-теги и X-Robots-Tag

Компания Google внесла изменения в систему управления индексацией страниц и файлов в поиске, добавив новые подробности о работе meta-тегов и HTTP-заголовков.

Основные обновления:

🔹 Meta-теги с атрибутом robots – позволяют задавать правила индексации на уровне страницы. Например, <meta name="robots" content="noindex"> запрещает индексацию.

🔹 X-Robots-Tag – работает через HTTP-заголовки и применяется для не-HTML файлов, таких как PDF и изображения. Например, X-Robots-Tag: noindex не позволит файлу попасть в поиск.

🔹 data-nosnippet – скрывает отдельные фрагменты текста из поисковых сниппетов, помогая контролировать, что именно отображается в выдаче.

❗ Важно: Все настройки действуют только при наличии доступа у поисковых роботов. Если доступ закрыт через robots.txt, эти правила игнорируются.

Напоминание от Google о robots.txt

Мартин Сплитт также рассказал, как правильно использовать файл robots.txt для управления доступом к контенту.

🔹 Запрет доступа к разделу сайта:

user-agent: *  
disallow: /cart  

🔹 Разрешение индексации только определенной части:

user-agent: documentsbot  
allow: /blog/  
disallow: /blog/drafts/  

🔹 Блокировка конкретного бота:

user-agent: aicorp-trainer-bot  
disallow: /  

Подробности – в официальной документации Google: ссылка.