Дубли страниц на сайте: как найти и убрать
Дубли — это страницы сайта с одинаковым или почти одинаковым содержимым, доступные по разным адресам. Они появляются из-за технических особенностей CMS: версии с www и без, со слешем и без, GET-параметры, фильтры, страницы печати. Яндекс сам выбирает, какую из копий показывать в поиске, и выбор может оказаться не тем, который нужен вам. Найти дубли проще всего в Яндекс Вебмастере, а убирают их тремя способами: 301-редиректом, атрибутом rel=canonical или директивой Clean-param в robots.txt — в зависимости от того, откуда взялась копия.
Что такое дубли страниц и чем они мешают
Для поисковой системы каждый уникальный адрес — отдельная страница. Если по адресам /uslugi/, /uslugi и /uslugi/?utm_source=vk открывается один и тот же текст, робот видит три страницы с одинаковым содержимым. Это и есть дубли.
Различают полные дубли — содержимое совпадает целиком — и частичные, когда страницы отличаются незначительно: сортировкой товаров, одним абзацем, блоком в сайдбаре.
Чем это вредит:
- В поиск попадает не та страница. Яндекс выбирает из копий одну и показывает её. Это может быть адрес с параметром или служебная версия, а не основная страница, которую вы продвигаете.
- Сигналы распыляются. Ссылки и поведение пользователей делятся между несколькими адресами вместо того, чтобы работать на один.
- Робот тратит обход впустую. На большом сайте время робота уходит на копии, и новые страницы индексируются медленнее. О том, как ускорить этот процесс, — в статье про индексацию сайта в Яндексе.
- Позиции «скачут». Когда Яндекс меняет выбранную копию, в выдаче то и дело меняется адрес страницы, а вместе с ним и её место.
Откуда берутся дубли
Чаще всего дубли создаёт не человек, а движок сайта. Типичные источники:
- Зеркала: сайт доступен с www и без, по http и https.
- Слеш на конце адреса:
/page/и/pageоткрывают одно и то же. - Служебные адреса:
/index.php,/index.htmlрядом с главной. - GET-параметры: UTM-метки, идентификаторы сессий, параметры сортировки и отображения.
- Фильтры и пагинация в каталогах интернет-магазинов.
- Один товар в нескольких категориях, если адрес карточки зависит от пути.
- Версии для печати, архивы по датам, теги и страницы авторов в блогах.
- Тестовая копия сайта, открытая для индексации.
Отдельно стоят смысловые дубли — две разные статьи или услуги, которые написаны под один и тот же запрос. Технически это разные страницы, но они конкурируют друг с другом в поиске.
Как найти дубли страниц
Начинать стоит с Яндекс Вебмастера — там видно, как дубли видит сам Яндекс.
- Диагностика. Вебмастер сообщает о проблемах сайта, в том числе о найденных страницах-дублях с GET-параметрами, и подсказывает, какие параметры их создают.
- Страницы в поиске. В разделе «Индексирование» есть список исключённых страниц. Если у страницы указана причина «Дубль», рядом видно, какую копию Яндекс счёл основной.
- Проверка статуса URL. Позволяет посмотреть, проиндексирован ли конкретный адрес и не склеен ли он с другим.
Второй способ — сканирование сайта краулером (специальной программой, которая обходит сайт как поисковый робот). В отчёте ищут страницы с одинаковыми title, H1 и описанием — это главные кандидаты в дубли. Обзор инструментов есть в статье про SEO-сервисы.
Третий — ручная проверка: откройте главную и несколько ключевых страниц с www и без, со слешем и без, с добавленным ?test=1. Если каждый вариант открывается без перенаправления — дубли есть.
Как убрать дубли: три основных способа
Способ выбирают по происхождению копии.
301-редирект. Постоянное перенаправление с копии на основной адрес. Подходит, когда копия не нужна пользователям вообще: зеркала с www и без, http и https, адреса со слешем и без, /index.php. Пользователь и робот попадают на нужную страницу, сигналы со старого адреса переходят на новый.
Атрибут rel=canonical. Тег в коде страницы, который указывает основную версию. Подходит, когда копия нужна посетителям, но не нужна в поиске: сортировки, варианты отображения, товар в нескольких категориях. Яндекс учитывает canonical как подсказку, а не как приказ. Подробно о настройке — в статье про канонические URL.
Директива Clean-param в robots.txt. Её поддерживает Яндекс: она сообщает роботу, что указанные GET-параметры (UTM-метки, идентификаторы сессий, параметры отслеживания) не меняют содержимое страницы. Робот перестаёт обходить такие адреса как отдельные страницы. Как устроен сам файл, мы разбирали в материале про robots.txt и sitemap.
Смысловые дубли решаются иначе: страницы объединяют в одну, более полную, а со второй ставят 301-редирект. Либо переписывают одну из них под другой запрос, чтобы у каждой была своя задача.
Неочевидная ошибка: закрыть дубли в robots.txt через Disallow
Самое частое «быстрое решение» — запретить копии директивой Disallow в robots.txt. Кажется логичным: робот не зайдёт на дубли, значит, проблемы нет. На деле это часто ухудшает ситуацию.
Если адрес закрыт через Disallow, робот не скачивает страницу и не видит на ней ни canonical, ни редиректа. Сигналы, которые накопила копия — например, внешние ссылки на адрес с UTM-меткой, — не передаются основной странице. А уже проиндексированная копия может какое-то время оставаться в базе.
Правильная последовательность такая: для параметров — Clean-param, для копий, нужных пользователям, — canonical, для ненужных адресов — 301-редирект. Disallow оставляют для того, что не должно индексироваться в принципе: личный кабинет, корзина, служебные разделы и результаты поиска по сайту.
Вторая похожая ошибка — ставить на дубль одновременно noindex и canonical на другую страницу. Эти сигналы противоречат друг другу: один говорит «не индексируй», другой — «это копия, учитывай основную». Выбирайте один подходящий инструмент.
Как проверить результат и не допустить новых дублей
После изменений проверьте каждый способ отдельно: редиректы — открыв старые адреса в браузере, canonical — в исходном коде страницы, Clean-param — в инструменте анализа robots.txt в Вебмастере. Затем отправьте основные страницы на переобход и наблюдайте за разделом «Страницы в поиске»: дубли будут постепенно исключаться по мере обхода сайта роботом.
Чтобы дубли не появлялись снова:
- выберите один формат адресов (со слешем или без) и закрепите его редиректом на уровне сервера;
- проверяйте новые разделы, фильтры и плагины на то, какие адреса они создают;
- закрывайте от индексации тестовые копии сайта;
- раз в месяц смотрите диагностику Вебмастера и список исключённых страниц;
- перед написанием новой статьи или посадочной проверяйте, нет ли на сайте страницы под тот же запрос.
Поиск дублей — стандартный пункт технической проверки сайта. Если вы делаете её впервые, удобно идти по списку из статьи про SEO-аудит сайта.
| Источник дубля | Пример | Чем убирать |
|---|---|---|
| Зеркала сайта | с www и без, http и https | 301-редирект на главное зеркало |
| Слеш и служебные адреса | /page и /page/, /index.php | 301-редирект на основной формат |
| UTM-метки и параметры отслеживания | ?utm_source=…, ?sessionid=… | Clean-param в robots.txt |
| Сортировки и вид каталога | ?sort=price, ?view=list | rel=canonical на основную страницу |
| Товар в нескольких категориях | /cat1/tovar/ и /cat2/tovar/ | rel=canonical или единый адрес карточки |
| Смысловые дубли | две статьи под один запрос | объединить и поставить 301-редирект |
Не хотите разбираться с редиректами и robots.txt самостоятельно? Проверим сайт и уберём технические ошибки в рамках продвижения.
Подробнее об услугеОпубликовано 2026-10-27, обновлено 2026-10-27
Частые вопросы
- Это страницы с одинаковым или почти одинаковым содержимым, доступные по разным адресам. Чаще всего их создаёт движок сайта: версии с www и без, адреса со слешем и без, GET-параметры, фильтры и страницы печати.
- Посмотрите раздел «Диагностика» — там бывают сообщения о дублях с GET-параметрами — и список исключённых страниц в разделе «Индексирование»: у дублей указана соответствующая причина и адрес, который Яндекс выбрал основным.
- 301-редирект — когда копия не нужна никому, например зеркала и адреса со слешем. rel=canonical — когда копия нужна посетителям, но не нужна в поиске, например сортировки каталога. Для UTM-меток и параметров отслеживания в Яндексе удобнее директива Clean-param.
- Обычно это плохое решение: робот не скачивает закрытую страницу и не видит на ней canonical или редирект, а сигналы копии не передаются основной странице. Disallow оставляют для разделов, которые не должны индексироваться в принципе.
- Всё зависит от того, как часто робот обходит сайт. Ускорить процесс можно, отправив основные страницы на переобход в Вебмастере и проверив, что редиректы и canonical настроены корректно.
- Это разные страницы, написанные под один и тот же запрос, например две похожие статьи. Их объединяют в одну более полную страницу с 301-редиректом со второй или переписывают одну из них под другой запрос.