Некорректный robots.txt на WordPress может привести к индексации до 30% «мусорных» страниц (архивы, теги, страницы авторов), что размывает ссылочный вес и перегружает краулинговый бюджет. Правильная настройка этого файла — это не формальность, а инструмент управления приоритетами поискового робота.
Критический минимум: что закрыть обязательно
Стандартная установка WordPress создает массу технических страниц, которые не несут ценности для пользователя. В первую очередь необходимо закрыть /wp-admin/ и /wp-includes/. Ошибка многих новичков — закрытие /wp-content/plugins/, что может заблокировать CSS и JS файлы, лишив Google возможности проверить мобильную адаптивность сайта (Mobile-First Indexing).
Кейс: на одном из проектов после закрытия папки с плагинами в robots.txt позиции по мобильному поиску просели на 15-20% за две недели из-за ошибки «Страница не совместима с мобильными устройствами». Экспертный вывод: закрывайте только административные пути, оставляйте доступ к статике (css, js, images), чтобы робот видел страницу так же, как пользователь.
Борьба с дублями: теги, категории и архивы
WordPress по умолчанию генерирует дубли через страницы архивов и тегов. Если у вас блог на 500+ статей, количество технических страниц может превысить число полезных в 3-4 раза. Чтобы избежать каннибализации запросов, следует использовать директиву Disallow: /tag/ и Disallow: /author/, если на сайте один автор.
Сравнение: использование Disallow в robots.txt против noindex в мета-тегах. Robots.txt экономит краулинговый бюджет (робот даже не заходит на страницу), а noindex требует захода на страницу для считывания тега. При объеме сайта более 10 000 URL разница в скорости индексации новых материалов может достигать 30%. Экспертный вывод: для массового удаления мусора используйте robots.txt, для точечного управления индексацией — meta noindex.
Оптимизация под разные поисковые системы
Яндекс и Google по-разному интерпретируют директивы. Например, Яндекс более чувствителен к закрытию параметров поиска. Для WordPress актуально закрыть внутренний поиск через Disallow: /?s= и Disallow: /*?s=, чтобы исключить попадание в индекс сотен бессмысленных страниц результатов поиска.
Практический нюанс: использование директивы Allow внутри закрытой папки. Если вы закрыли /wp-admin/, но хотите дать доступ к admin-ajax.php (который часто нужен для работы некоторых функций фронтенда), обязательно пропишите Allow: /wp-admin/admin-ajax.php. Экспертный вывод: всегда проверяйте файл через «Инструмент проверки robots.txt» в Google Search Console и Яндекс.Вебмастере, так как синтаксические ошибки в одной строке могут случайно закрыть весь сайт от индексации.
Интеграция с SEO-плагинами и ручная правка
Плагины вроде Yoast SEO или Rank Math создают «виртуальный» robots.txt. Это удобно, но опасно: при сбое плагина или обновлении конфигурации ваши правила могут сброситься. Физический файл в корне сервера (через FTP/SFTP) имеет приоритет и работает стабильнее. Настройка физического файла занимает 10 минут, но гарантирует сохранность правил при любых обновлениях CMS.
Статистика показывает, что около 40% ошибок индексации на WP-сайтах связаны с конфликтом настроек в плагинах и реальным файлом на сервере. Экспертный вывод: для серьезных проектов откажитесь от виртуальных файлов в пользу физического robots.txt, чтобы полностью контролировать доступ роботов независимо от состояния плагинов.
Вывод
Идеальный robots.txt для WordPress должен быть лаконичным: закрыть /wp-admin/, /wp-json/, страницы поиска и теги, оставив открытыми все медиа-файлы и скрипты. Начинайте с создания физического файла в корне сайта, избегайте перегрузки его сотнями строк и обязательно добавьте ссылку на sitemap.xml. Главное правило: лучше оставить страницу открытой и закрыть её через noindex, чем ошибиться в одной букве в robots.txt и вылететь из индекса всего сайта за 24 часа.
