samo19 · нет комментариев

Robots.txt и sitemap.xml: как правильно настроить для поисковиков

Зачем сайту robots.txt и sitemap.xml

Два небольших файла в корне сайта во многом определяют, как поисковые роботы видят ресурс. robots.txt подсказывает краулеру, куда ходить не нужно, а sitemap.xml перечисляет страницы, которые вы хотите видеть в индексе. Ошибка в одном из них способна выбросить из поиска половину сайта или, наоборот, засорить индекс страницами поиска, фильтров и корзины.

Настройка служебных файлов сайта для поисковиков

Важно понимать разницу: robots.txt управляет сканированием, а не индексацией. Если страница закрыта директивой Disallow, но на неё ведут внешние ссылки, Google может показать её в выдаче без описания. Чтобы гарантированно убрать документ из индекса, нужен метатег robots со значением noindex, а сама страница при этом должна оставаться доступной для обхода.

 
Правила доступа для поисковых роботов

Синтаксис robots.txt без ошибок

Файл лежит строго по адресу site.ru/robots.txt, сохраняется в UTF-8 и отдаётся с кодом 200. Он состоит из групп: строка User-agent указывает робота, ниже идут правила для него.

  • User-agent: * — правила для всех роботов; отдельная группа для Googlebot или Yandex имеет приоритет над общей;
  • Disallow: /path — запрет на сканирование адресов, начинающихся с /path;
  • Allow: /path — исключение из запрета; при конфликте побеждает более длинное правило;
  • символ * означает любую последовательность символов, $ — конец адреса;
  • Sitemap: https://site.ru/sitemap.xml — абсолютная ссылка на карту, их можно указать несколько.

Директиву Host Яндекс давно не учитывает — главное зеркало определяется 301-редиректом. А вот Clean-param для Яндекса по-прежнему полезна: она сообщает, что параметры вроде utm_source или sort не меняют содержимое, и робот не тратит ресурсы на дубли. Google её игнорирует, для него дубли закрываются через rel="canonical".

 

Что закрывать, а что оставлять открытым

Типичный набор для закрытия: служебные разделы, внутренний поиск, личный кабинет, корзина, страницы сортировки и печати. Для WordPress разумно закрыть /wp-admin/, оставив Allow: /wp-admin/admin-ajax.php, а также результаты поиска с параметром ?s=.

Чего делать нельзя:

  1. закрывать папки с CSS, JavaScript и изображениями — без них робот не отрисует страницу и не оценит мобильную версию;
  2. оставлять на рабочем сайте Disallow: / после разработки на тестовом домене — самая частая причина внезапного вылета из поиска;
  3. прятать в robots.txt секретные разделы: файл открыт всем, и злоумышленник смотрит туда в первую очередь;
  4. закрывать страницы, на которых стоит noindex, — робот просто не увидит метатег.
 

Как собрать правильный sitemap.xml

Карта сайта — XML-файл со списком канонических адресов. Ограничения протокола: не более 50 000 URL и 50 МБ в несжатом виде на один файл. Крупные проекты делят карту на части и связывают их индексным файлом.

В карту попадают только страницы, которые отдают код 200, не закрыты в robots.txt, не содержат noindex и являются каноническими. Редиректы, ошибки 404 и дубли с параметрами — лишний шум, из-за которого поисковик начинает меньше доверять файлу. Тег lastmod заполняйте реальной датой изменения содержимого: Google использует его, если значение достоверно. Теги priority и changefreq Google не учитывает, тратить на них время не нужно.

Генерировать карту вручную имеет смысл только для статического сайта из десятка страниц. В WordPress с версии 5.5 есть встроенная карта wp-sitemap.xml, а SEO-плагины вроде Yoast или Rank Math создают собственную и отключают штатную. Ручной вариант подробно разобран в статье про создание файла sitemap.xml.

 

Проверка и отправка в поисковики

После публикации файлов их нужно показать поисковикам и проверить.

  1. Откройте robots.txt в браузере и убедитесь, что сервер отдаёт текст, а не HTML-страницу ошибки.
  2. В Google Search Console отправьте карту в разделе «Файлы Sitemap» и загляните в отчёт о файлах robots.txt в настройках.
  3. В Яндекс Вебмастере воспользуйтесь «Анализом robots.txt»: туда можно вставить список URL и сразу увидеть, какие разрешены.
  4. Через пару недель сравните число отправленных и проиндексированных страниц — большой разрыв говорит о дублях, слабом контенте или технических ошибках.

Если сайт только запущен, вместе с картой пройдите и базовое добавление сайта в поисковики: подтверждение прав, выбор главного зеркала и региона. Возвращайтесь к обоим файлам после каждого редизайна, смены CMS или структуры адресов — именно в такие моменты чаще всего ломается индексация.

 
Оставить комментарий

Добавить комментарий

ВверхВверх