Robots.txt и sitemap.xml: как правильно настроить для поисковиков
Зачем сайту robots.txt и sitemap.xml
Два небольших файла в корне сайта во многом определяют, как поисковые роботы видят ресурс. robots.txt подсказывает краулеру, куда ходить не нужно, а sitemap.xml перечисляет страницы, которые вы хотите видеть в индексе. Ошибка в одном из них способна выбросить из поиска половину сайта или, наоборот, засорить индекс страницами поиска, фильтров и корзины.

Важно понимать разницу: robots.txt управляет сканированием, а не индексацией. Если страница закрыта директивой Disallow, но на неё ведут внешние ссылки, Google может показать её в выдаче без описания. Чтобы гарантированно убрать документ из индекса, нужен метатег robots со значением noindex, а сама страница при этом должна оставаться доступной для обхода.
Синтаксис robots.txt без ошибок
Файл лежит строго по адресу site.ru/robots.txt, сохраняется в UTF-8 и отдаётся с кодом 200. Он состоит из групп: строка User-agent указывает робота, ниже идут правила для него.
- User-agent: * — правила для всех роботов; отдельная группа для Googlebot или Yandex имеет приоритет над общей;
- Disallow: /path — запрет на сканирование адресов, начинающихся с /path;
- Allow: /path — исключение из запрета; при конфликте побеждает более длинное правило;
- символ * означает любую последовательность символов, $ — конец адреса;
- Sitemap: https://site.ru/sitemap.xml — абсолютная ссылка на карту, их можно указать несколько.
Директиву Host Яндекс давно не учитывает — главное зеркало определяется 301-редиректом. А вот Clean-param для Яндекса по-прежнему полезна: она сообщает, что параметры вроде utm_source или sort не меняют содержимое, и робот не тратит ресурсы на дубли. Google её игнорирует, для него дубли закрываются через rel="canonical".
Что закрывать, а что оставлять открытым
Типичный набор для закрытия: служебные разделы, внутренний поиск, личный кабинет, корзина, страницы сортировки и печати. Для WordPress разумно закрыть /wp-admin/, оставив Allow: /wp-admin/admin-ajax.php, а также результаты поиска с параметром ?s=.
Чего делать нельзя:
- закрывать папки с CSS, JavaScript и изображениями — без них робот не отрисует страницу и не оценит мобильную версию;
- оставлять на рабочем сайте Disallow: / после разработки на тестовом домене — самая частая причина внезапного вылета из поиска;
- прятать в robots.txt секретные разделы: файл открыт всем, и злоумышленник смотрит туда в первую очередь;
- закрывать страницы, на которых стоит noindex, — робот просто не увидит метатег.
Как собрать правильный sitemap.xml
Карта сайта — XML-файл со списком канонических адресов. Ограничения протокола: не более 50 000 URL и 50 МБ в несжатом виде на один файл. Крупные проекты делят карту на части и связывают их индексным файлом.
В карту попадают только страницы, которые отдают код 200, не закрыты в robots.txt, не содержат noindex и являются каноническими. Редиректы, ошибки 404 и дубли с параметрами — лишний шум, из-за которого поисковик начинает меньше доверять файлу. Тег lastmod заполняйте реальной датой изменения содержимого: Google использует его, если значение достоверно. Теги priority и changefreq Google не учитывает, тратить на них время не нужно.
Генерировать карту вручную имеет смысл только для статического сайта из десятка страниц. В WordPress с версии 5.5 есть встроенная карта wp-sitemap.xml, а SEO-плагины вроде Yoast или Rank Math создают собственную и отключают штатную. Ручной вариант подробно разобран в статье про создание файла sitemap.xml.
Проверка и отправка в поисковики
После публикации файлов их нужно показать поисковикам и проверить.
- Откройте robots.txt в браузере и убедитесь, что сервер отдаёт текст, а не HTML-страницу ошибки.
- В Google Search Console отправьте карту в разделе «Файлы Sitemap» и загляните в отчёт о файлах robots.txt в настройках.
- В Яндекс Вебмастере воспользуйтесь «Анализом robots.txt»: туда можно вставить список URL и сразу увидеть, какие разрешены.
- Через пару недель сравните число отправленных и проиндексированных страниц — большой разрыв говорит о дублях, слабом контенте или технических ошибках.
Если сайт только запущен, вместе с картой пройдите и базовое добавление сайта в поисковики: подтверждение прав, выбор главного зеркала и региона. Возвращайтесь к обоим файлам после каждого редизайна, смены CMS или структуры адресов — именно в такие моменты чаще всего ломается индексация.