Robots.txt и sitemap: базовая настройка для Яндекса

Зачем нужны robots.txt и sitemap

У поискового робота ограниченное внимание к каждому сайту. Если на сайте тысячи технических адресов — сортировки, фильтры, версии для печати, страницы с UTM-метками, — робот тратит обход на мусор, а новые статьи и карточки товаров попадают в поиск позже. Robots.txt решает эту проблему: он отсекает то, что индексировать бессмысленно.

Sitemap работает с другой стороны. Это список адресов, которые владелец сайта считает важными. Он помогает роботу быстрее найти новые страницы и страницы, до которых сложно добраться по внутренним ссылкам: глубоко вложенные разделы, карточки без ссылок из меню. Sitemap не гарантирует попадание в индекс, но сокращает путь робота до нужных страниц.

Вместе эти файлы задают порядок: что обходить, что пропускать и где искать главное. Как робот затем решает, добавить ли страницу в поиск, мы разбирали в материале про индексацию сайта.

Как устроен robots.txt: синтаксис и правила Яндекса

Robots.txt — обычный текстовый файл в корне сайта по адресу https://site.ru/robots.txt. По требованиям Яндекса его размер не должен превышать 500 КБ, а сервер обязан отдавать файл с кодом 200 OK. Если требования не выполнены, Яндекс считает сайт открытым для индексирования целиком — то есть ваши запреты просто не сработают.

Файл состоит из блоков. Каждый блок начинается с директивы User-agent — для какого робота правила. User-agent: * означает всех роботов, User-agent: Yandex — только роботов Яндекса. Дальше идут правила:

• Disallow — запрещает обход адресов, которые начинаются с указанного пути.
• Allow — разрешает обход, в том числе внутри закрытого раздела.
• Sitemap — полный адрес файла карты сайта.
• Clean-param — директива Яндекса: говорит, какие GET-параметры не меняют содержимое страницы (метки, идентификаторы сессий), чтобы робот не обходил одну и ту же страницу под разными адресами.

Два спецсимвола упрощают правила. Звёздочка * означает любую последовательность символов, а знак $ фиксирует конец адреса. По умолчанию Яндекс мысленно приписывает * к концу каждого правила, поэтому Disallow: /cart закроет и /cart, и /cart/checkout, и /cartoons.

Если правила Allow и Disallow противоречат друг другу, Яндекс сортирует их по длине пути и применяет самое длинное совпадение. При равной длине побеждает Allow. Регистр в путях учитывается: /Catalog и /catalog — разные адреса. Кириллицу в файле использовать нельзя: домены записывают в Punycode, а пути — в URL-кодировке.

Что закрывать от индексации, а что оставить открытым

Закрывают то, что не несёт ценности для человека из поиска и плодит дубли:

• корзину, оформление заказа, личный кабинет, страницы авторизации;
• внутренний поиск по сайту и результаты фильтрации с параметрами, если под них не делались отдельные посадочные страницы;
• служебные разделы CMS: административную панель, технические папки;
• версии страниц для печати и сравнения товаров.

Открытыми оставляют все страницы, которые должны приводить трафик: услуги, категории, карточки товаров, статьи, контакты. И отдельно — файлы стилей, скриптов и изображения. Робот Яндекса отрисовывает страницу, чтобы понять, как её видит посетитель. Если CSS и JS закрыты, он может неверно оценить страницу или не увидеть часть контента.

Минимальный рабочий пример для небольшого сайта на WordPress выглядит так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?replytocom=
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://site.ru/sitemap.xml

Это отправная точка, а не шаблон на все случаи. Для интернет-магазина список параметров фильтров и сортировок будет длиннее, и каждое правило стоит проверять на реальных адресах сайта.

Как собрать и оформить sitemap

Sitemap — файл со списком адресов страниц. Яндекс поддерживает форматы XML и TXT, рекомендует XML и кодировку UTF-8. В одном файле — не больше 50 000 ссылок, размер в несжатом виде — не больше 50 МБ. Если страниц больше, карту делят на несколько файлов и собирают их в индексный файл sitemap; каждый вложенный файл робот обрабатывает отдельно.

Правила наполнения простые:

• только адреса того домена, на котором лежит файл, и только канонические версии — с тем же протоколом и тем же написанием, что и на сайте;
• только страницы, которые отдают код 200 и открыты для индексации, — без редиректов, удалённых страниц и адресов, закрытых в robots.txt;
• длина одного адреса — до 2048 символов;
• тег lastmod с датой последнего изменения полезен: он подсказывает роботу, что страницу стоит перечитать.

Теги priority и changefreq Яндекс принимает, но гарантий их влияния на поиск не даёт. Тратить время на ручную расстановку приоритетов не нужно.

Собирать карту вручную имеет смысл только для сайта из десятка страниц. В остальных случаях её генерирует CMS или SEO-плагин и обновляет при каждой публикации. Ручной файл быстро устаревает: в нём остаются удалённые страницы, а новые не появляются.

Как проверить оба файла в Яндекс Вебмастере

В Яндекс Вебмастере есть инструмент «Анализ robots.txt». Он показывает, какую версию файла видит робот, подсвечивает синтаксические ошибки и позволяет вставить список адресов, чтобы проверить, открыт каждый из них или закрыт. Прогоните через него главные страницы: услуги, категории, пару статей. Ни одна из них не должна оказаться под запретом.

Sitemap указывают двумя способами: директивой Sitemap в robots.txt или в разделе «Файлы Sitemap» Вебмастера. По справке Яндекса, робот загружает добавленный файл в течение двух недель. В Вебмастере видно дату последней загрузки, количество найденных адресов и ошибки обработки. Если ошибок нет, но страницы не индексируются, смотрите раздел «Страницы в поиске»: там указаны причины исключения.

Устаревшие директивы можно убрать. В актуальной справке Яндекса нет Host и Crawl-delay: главное зеркало сайта задают 301-редиректом, а скорость обхода регулируют в настройках Вебмастера. Проверка служебных файлов — часть технического аудита. Что ещё стоит посмотреть на сайте, мы собрали в чек-листе SEO-аудита для владельца.

Чек-лист базовой настройки

• Файл robots.txt лежит в корне сайта и отдаётся с кодом 200.
• Нет строки Disallow: /, оставшейся после разработки.
• Закрыты корзина, личный кабинет, внутренний поиск, служебные разделы CMS.
• Открыты CSS, JS и изображения.
• UTM-метки и прочие технические параметры описаны в Clean-param.
• В robots.txt указан полный адрес sitemap.
• В sitemap только канонические адреса с кодом 200, без редиректов и закрытых страниц.
• Карта обновляется автоматически при публикации и удалении страниц.
• Оба файла проверены в Яндекс Вебмастере, sitemap добавлен в раздел «Файлы Sitemap».

Этот список стоит проходить не один раз, а после каждого заметного изменения сайта: переезда на HTTPS, смены CMS, запуска нового раздела или каталога с фильтрами.