Robots.txt и sitemap.xml: как правильно настроить для поисковиков
Разбираем, как robots.txt и sitemap.xml управляют обходом сайта, какие ошибки выбрасывают страницы из поиска и как проверить оба файла в Яндексе и Google.
Разбираем, как robots.txt и sitemap.xml управляют обходом сайта, какие ошибки выбрасывают страницы из поиска и как проверить оба файла в Яндексе и Google.