Технический аудит сайта: чек-лист для Яндекса

Что проверяет технический аудит и чем он отличается от SEO-аудита

Полный SEO-аудит отвечает на вопрос «почему сайт не приносит клиентов из поиска»: там и тексты, и семантика, и коммерческие факторы, и конкуренты. Технический аудит уже: он проверяет фундамент. Если робот не может открыть страницу, видит десять её копий или получает ошибку сервера, хорошие тексты не помогут — их просто не будет в выдаче.

Технические ошибки коварны тем, что владелец их не видит. Сайт открывается в браузере, всё выглядит нормально, а в Вебмастере половина страниц в статусе «исключена». Поэтому аудит начинают не с сайта, а с данных поисковика. Что стоит проверить самому владельцу без погружения в технику, мы разбирали отдельно — в статье про SEO-аудит сайта. Здесь — более глубокий технический чек-лист.

Шаг 1. Индексация: что Яндекс видит на самом деле

Откройте Яндекс Вебмастер, раздел «Индексирование». Три вещи, на которые смотрят в первую очередь:

• Страницы в поиске. Сравните их число с тем, сколько полезных страниц на сайте на самом деле. Сильное расхождение в любую сторону — повод копать дальше.
• Исключённые страницы и причины. Вебмастер указывает причину: дубль, запрет в robots.txt, редирект, ошибка, недостаточно качественная страница. Отфильтруйте по причинам и найдите среди исключённых важные — услуги, категории, статьи.
• Статистика обхода. Показывает, какие адреса робот скачивает и с каким кодом ответа. Если робот тратит обход на мусорные URL с параметрами, до нужных страниц он доходит реже.

Отдельно проверьте раздел «Диагностика»: там Вебмастер сам сообщает о критичных проблемах, например о недоступности сайта или ошибках в robots.txt. Основы процесса описаны в материале что такое индексация сайта.

Шаг 2. Robots.txt и sitemap.xml

Robots.txt проверяют на две ошибки: закрыто нужное и открыто лишнее. Частая беда после разработки — строка Disallow: /, оставшаяся с тестового сервера. Обратная ситуация — в индекс открыты корзина, личный кабинет, результаты поиска по сайту, страницы сортировок. В Вебмастере есть инструмент анализа robots.txt: вставьте туда адреса ключевых страниц и убедитесь, что они разрешены.

Sitemap.xml должен содержать только канонические страницы, которые отдают код 200 и открыты для индексации. Если в карте сайта лежат редиректы, 404 или закрытые адреса, робот получает противоречивые сигналы. Проверьте, что карта указана в robots.txt и добавлена в Вебмастер, а дата её обновления не застыла на дате запуска сайта.

Базовая настройка обоих файлов разобрана в статье robots.txt и sitemap для Яндекса.

Шаг 3. Коды ответа, редиректы и битые ссылки

Для проверки нужен краулер — программа, которая обходит сайт как робот и собирает все адреса с кодами ответа. Что ищем в выгрузке:

• Ошибки 5xx. Сервер не смог отдать страницу. Если такие ответы повторяются, робот начинает реже заходить на сайт.
• Ошибки 404 внутри сайта. Сами по себе удалённые страницы — нормально, плохо, когда на них ведут внутренние ссылки из меню, статей и карточек.
• Цепочки редиректов. Ссылка ведёт на страницу, которая перенаправляет на другую, та — на третью. Каждую внутреннюю ссылку стоит вести сразу на конечный адрес.
• Временные редиректы 302 там, где нужен 301. При постоянном переезде страницы используют 301, иначе поисковик может оставить в индексе старый адрес.
• Soft 404. Страница «ничего не найдено», которая отдаёт код 200. Для робота это полноценная пустая страница.

Шаг 4. Зеркала, HTTPS и мобильная версия

Главное зеркало. Сайт должен открываться по одному адресу: с HTTPS и либо с www, либо без. Остальные варианты — постоянный редирект 301 на основной. Директиву Host в robots.txt Яндекс больше не учитывает, склейка зеркал определяется редиректами. Проверьте, что в Вебмастере добавлен и подтверждён именно главный вариант.

HTTPS. Сертификат действителен, нет смешанного контента (картинок и скриптов по HTTP), внутренние ссылки ведут на HTTPS-адреса без лишнего редиректа.

Мобильная версия. Страницы корректно отображаются на телефоне, текст читается без масштабирования, кнопки не наезжают друг на друга, контент мобильной версии совпадает с десктопной. Подробности — в материале о требованиях к мобильной версии сайта.

Шаг 5. Мета-теги, заголовки и микроразметка

Из той же выгрузки краулера проверьте:

• у каждой страницы есть уникальный title и description, нет пустых и одинаковых;
• на странице ровно один H1, и он отличается от H1 других страниц;
• шаблонные страницы (карточки, теги, пагинация) не генерируют сотни одинаковых заголовков;
• микроразметка (организация, хлебные крошки, товары, FAQ) проходит проверку валидатором в Вебмастере без ошибок;
• изображения имеют осмысленный alt, а тяжёлые картинки сжаты — от этого зависит скорость загрузки.

После исправлений отправьте ключевые страницы на переобход в Вебмастере и через пару недель сравните отчёт об исключённых страницах с исходным.