Индексация страниц поисковыми системами — важный аспект SEO, но иногда возникает необходимость запретить индексацию отдельных страниц, чтобы скрыть их от поисковиков. В этой статье мы разберём, как запретить индексацию определённых страниц в WordPress с помощью разных способов: через мета-теги, файл robots.txt, а также с помощью популярных плагинов. Приведём примеры кода и рекомендации для практического применения.
Почему важно управлять индексацией страниц
В некоторых случаях страницы на сайте могут быть техническими, временными или содержать дублирующийся контент, который не должен попадать в поисковую выдачу. Например, это могут быть страницы авторизации, корзина, страницы с фильтрами, личный кабинет или страницы с конфиденциальной информацией.
Если такие страницы индексируются, то это может привести к снижению качества сайта в глазах поисковых систем и ухудшению SEO-показателей. Поэтому важно грамотно настраивать запрет индексации.
Основные методы запрета индексации в WordPress
1. Использование мета-тега noindex
Самый распространённый способ — добавить в <head> страницы мета-тег noindex, который говорит поисковым роботам не индексировать эту страницу.
Для этого можно добавить следующий код в файл functions.php вашей темы или в плагин-«функции»:
function wpfinder_noindex_specific_pages() {
if (is_page(array('privacy-policy', 'terms-of-service'))) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'wpfinder_noindex_specific_pages');В данном примере страницы с ярлыками privacy-policy и terms-of-service будут иметь мета-тег noindex. Вы можете указать любые ID, ярлыки или условия.
2. Запрет индексации через файл robots.txt
Файл robots.txt позволяет запретить сканирование определённых разделов сайта. Например, чтобы запретить индексацию папки с медиафайлами или административного раздела, добавьте в robots.txt следующие строки:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-content/uploads/private/Однако стоит помнить, что robots.txt запрещает сканирование, но не гарантирует, что эти страницы не будут проиндексированы, если на них есть внешние ссылки.
3. Плагины для управления индексацией
Для удобства можно использовать плагины с интерфейсом, которые позволяют настроить индексацию без кода. Вот несколько популярных:
- Yoast SEO — в настройках каждой страницы можно отметить опцию «Запретить индексацию».
- Clearfy Pro — расширяет возможности SEO, включая управление мета-тегами noindex и настройками robots.txt. Подробнее на wpshop.ru.
- WP Robots Txt — простой редактор файла robots.txt прямо из админ-панели.
Использование плагинов особенно удобно, если вы не хотите редактировать код или файл robots.txt вручную.
Как запретить индексацию для страниц с определёнными параметрами URL
Часто на сайтах есть страницы с параметрами в URL, например, фильтры или сортировка, которые создают дублирующийся контент. Чтобы запретить индексацию таких страниц, можно использовать условие с проверкой параметров в URL.
function wpfinder_noindex_url_params() {
if (isset($_GET['filter']) || isset($_GET['sort'])) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'wpfinder_noindex_url_params');Этот код добавит мета-тег noindex на все страницы, URL которых содержит параметры filter или sort.
Запрет индексации для записей с определёнными таксономиями
Если нужно скрыть от индексации записи с определёнными категориями или тегами, можно использовать условие has_term():
function wpfinder_noindex_taxonomy() {
if (is_singular('post') && has_term('private', 'category')) {
echo '<meta name="robots" content="noindex, nofollow">';
}
}
add_action('wp_head', 'wpfinder_noindex_taxonomy');В этом примере записи, которые принадлежат категории private, будут помечены как запрещённые для индексации.
Использование плагина Clearfy Pro для расширенного управления индексацией
Плагин Clearfy Pro позволяет удобно управлять индексацией страниц, автоматически добавлять мета-теги noindex для архивов, страниц авторов, поисковых страниц и др. В настройках плагина можно выбрать, какие типы страниц исключать из индексации.
Кроме того, Clearfy Pro помогает оптимизировать robots.txt и .htaccess, что повышает эффективность SEO и безопасность сайта.
Как проверить, что страницы действительно не индексируются
После настройки запрета индексации важно проверить, что поисковики действительно не индексируют нужные страницы. Для этого можно использовать:
- Инструменты для вебмастеров от Google Search Console и Яндекс.Вебмастер — проверка состояния индексации конкретных URL.
- Проверку наличия мета-тега noindex — просмотрите исходный код страницы через браузер или с помощью инструмента разработчика.
- Проверку файла robots.txt — убедитесь, что правила корректно применяются.
Итоги и рекомендации
Запрет индексации отдельных страниц — это важный инструмент управления SEO сайта на WordPress. Рекомендуется комбинировать методы: использовать мета-тег noindex для точного контроля и robots.txt для ограничения сканирования, а также применять плагины для упрощения процесса.
Пример кода, приведённый в статье, легко адаптируется под различные задачи и позволяет гибко настраивать индексацию без лишних плагинов, что положительно сказывается на производительности.