Вот переписанная новость с сохранением смысла:
Google обновил управление индексацией через meta-теги и X-Robots-Tag
Компания Google внесла изменения в систему управления индексацией страниц и файлов в поиске, добавив новые подробности о работе meta-тегов и HTTP-заголовков.
Основные обновления:
🔹 Meta-теги с атрибутом robots – позволяют задавать правила индексации на уровне страницы. Например, <meta name="robots" content="noindex"> запрещает индексацию.
🔹 X-Robots-Tag – работает через HTTP-заголовки и применяется для не-HTML файлов, таких как PDF и изображения. Например, X-Robots-Tag: noindex не позволит файлу попасть в поиск.
🔹 data-nosnippet – скрывает отдельные фрагменты текста из поисковых сниппетов, помогая контролировать, что именно отображается в выдаче.
❗ Важно: Все настройки действуют только при наличии доступа у поисковых роботов. Если доступ закрыт через robots.txt, эти правила игнорируются.
Напоминание от Google о robots.txt
Мартин Сплитт также рассказал, как правильно использовать файл robots.txt для управления доступом к контенту.
🔹 Запрет доступа к разделу сайта:
user-agent: *
disallow: /cart
🔹 Разрешение индексации только определенной части:
user-agent: documentsbot
allow: /blog/
disallow: /blog/drafts/
🔹 Блокировка конкретного бота:
user-agent: aicorp-trainer-bot
disallow: /
Подробности – в официальной документации Google: ссылка.
