Эксперименты в Яндекс Директе: как тестировать объявления и стратегии
A/B-эксперимент в Яндекс Директе — это встроенный инструмент, который делит аудиторию между вариантами кампании и показывает каждому пользователю только один из них. Так можно честно сравнить креативы, посадочные страницы, акции или настройки вроде стратегии и ставок. Эксперимент создают в разделе «Библиотека» → «A/B-эксперименты» или прямо в настройках кампании. Проверяют одну гипотезу за раз, аудиторию делят поровну, а выводы делают только после обучения и накопления конверсий — ориентир Яндекса не меньше 10 конверсий в неделю на каждый вариант.
Зачем нужны эксперименты, если можно просто сравнить две кампании
Самый частый способ «тестирования» у рекламодателей выглядит так: запустили новую кампанию рядом со старой, через неделю посмотрели, где заявки дешевле, и выключили проигравшую. Проблема в том, что такие кампании конкурируют за одних и тех же людей, получают разный бюджет и разную долю показов. Разница в результате может объясняться чем угодно, кроме того, что вы хотели проверить.
Ещё хуже вариант «до и после»: поменяли текст объявления и сравнили неделю с прошлой. За это время сменились сезонность, ставки конкурентов, акции на рынке. Вывод «новый текст работает лучше» здесь — просто совпадение по времени.
Инструмент экспериментов решает именно эту задачу. Система разводит пользователей по вариантам так, чтобы один и тот же человек видел только одну версию, а все варианты работали одновременно в одинаковых условиях аукциона. Тогда разница в результате с большей вероятностью объясняется тестируемым изменением, а не внешними факторами.
Что можно проверить экспериментом
По справке Яндекса, A/B-эксперименты доступны для единых перфоманс-кампаний и для медийных кампаний. Сравнивать можно как разные кампании, так и разные настройки внутри одинаковых кампаний. На практике чаще всего проверяют такие гипотезы:
- Креативы. Другой заголовок, другое изображение, акцент на результате или на сроках, видео вместо статики.
- Посадочные страницы. Ведёт ли реклама на квиз лучше, чем на страницу услуги, или каталог лучше лендинга.
- Акции и офферы. Скидка против подарка, бесплатный замер против рассрочки.
- Стратегии и ставки. Оплата за клики против оплаты за конверсии, разные целевые цены, разная цель оптимизации.
- Таргетинги. Автотаргетинг в разных режимах, разные наборы ключевых фраз, широкая или узкая география.
Правило одно: в одном эксперименте меняется один параметр. Если новая версия отличается и текстом, и посадочной, и стратегией, по итогам вы узнаете, что «что-то сработало», но не поймёте, что именно, и не сможете перенести вывод на другие кампании.
Как запустить эксперимент: порядок действий
Перед созданием эксперимента подготовьте кампании. Самый надёжный путь — скопировать рабочую кампанию и изменить в копии только тестируемую настройку. Всё остальное — гео, расписание, минус-фразы, цели, корректировки — должно совпадать.
- Сформулируйте гипотезу письменно. Например: «Оплата за конверсии по цели “заявка” даст больше заявок при той же цене, чем оплата за клики». Заранее решите, по какой метрике будете судить: количество целевых действий, цена конверсии, доход.
- Создайте эксперимент. В Директе это делается в разделе «Библиотека» → «A/B-эксперименты» → «Добавить эксперимент», в дополнительных настройках кампании или через меню действий на странице кампаний.
- Добавьте варианты. В эксперименте может быть от 2 до 20 вариантов, но малому бизнесу разумно ограничиться двумя: чем больше вариантов, тем меньше данных получает каждый.
- Разделите выборку. Яндекс рекомендует делить аудиторию поровну. Бюджеты кампаний должны соответствовать долям выборки: если вариант получает половину аудитории, ему нужен и сопоставимый бюджет.
- Зафиксируйте дату старта и не трогайте настройки до окончания периода обучения.
У инструмента есть технические лимиты: не больше 50 активных экспериментов одновременно, для одной единой перфоманс-кампании — до 5 активных экспериментов, для медийной — до 4. Небольшому рекламному кабинету эти ограничения обычно не мешают, но о них стоит знать, если тестов много.
Если вы работаете с единой перфоманс-кампанией впервые, сначала разберитесь, как устроена ЕПК — эксперименты в ней проводятся на тех же принципах.
Сколько ждать результата
В справке Директа приводится ориентир: период обучения кампаний в эксперименте в среднем занимает от 7 до 14 дней, а для надёжных выводов нужно не менее 10 конверсий в неделю на каждый вариант. Если вы сравниваете новую кампанию с давно работающей, срок теста рекомендуют увеличить до четырёх недель: у старой кампании есть накопленная история, и новой нужно время, чтобы догнать её по обучению.
Ещё одна деталь — бюджетные циклы. Если у кампании недельный бюджет, анализировать результат нужно по полным неделям, минимум по двум. Срез «с понедельника по четверг» может показать картину, которая к выходным полностью развернётся.
Отсюда практический вывод для малого бизнеса: если вся кампания приносит несколько заявок в неделю, честный эксперимент по конверсиям растянется надолго. В этом случае тестируют то, что даёт больше событий, — например, микроцель, — либо проводят тест только на самых массовых кампаниях.
Неочевидная ошибка: победитель по первым дням
Отчёт по эксперименту открывается в разделе «Библиотека» → «A/B-эксперименты» → название эксперимента → «Отчёт». В нём показаны метрики по каждому варианту, разница с контрольной группой и цветовая подсветка ячеек. Цвет зависит от p-value: слабая подсветка — когда значение ниже 0,2, яркая — ниже 0,05. Чем ярче ячейка, тем меньше вероятность, что разница случайна.
Главная ловушка — смотреть на отчёт каждый день и остановить тест, как только один вариант «вырвался вперёд». На малых объёмах лидер меняется постоянно, и ранняя остановка почти гарантирует случайного победителя. Решение о сроке и метрике принимают до старта, а не по ходу.
Вторая ловушка — сравнивать «сырые» значения вместо нормированных. В каждой ячейке отчёта два числа: фактическое и умноженное на коэффициент выборки. Если аудитория разделена неравно, сравнивать нужно именно нормированные значения, иначе вариант с большей долей всегда будет выглядеть «лучше» по объёму.
Третья — выбирать победителя по кликам и CTR, когда бизнесу нужны заявки. Объявление с кричащим заголовком часто собирает больше кликов, но приводит людей, которые ничего не покупают. Финальная метрика эксперимента должна быть той же, по которой вы оцениваете рекламу в целом: заявки, продажи, доход. Для этого цели в Метрике настраивают заранее — подробнее в статье про ключевые цели и оплату за конверсии.
Что делать после эксперимента
Если один вариант статистически значимо лучше, его настройки переносят в основную кампанию, а проигравший вариант отключают. Если разницы нет — это тоже результат: значит, тестируемый параметр на вашу рекламу заметно не влияет, и время лучше потратить на другую гипотезу.
Полезно вести простой журнал тестов: гипотеза, даты, варианты, итоговая метрика, решение. Через несколько месяцев он превращается в базу знаний о вашей аудитории: какие офферы работают, какие посадочные конвертируют, какая стратегия подходит под ваш объём заявок. Без журнала команда раз за разом проверяет одно и то же.
Эксперименты в Директе хорошо дополняются тестами на самом сайте: реклама проверяет, кого и с каким обещанием привести, а A/B-тест посадочной страницы — как эти люди превращаются в заявки. Выбор между стратегиями тоже удобнее делать через эксперимент, а не на глаз: о различиях стратегий мы писали в материале про автостратегии в Директе.
| Что проверяем | Что меняем в варианте | По какой метрике судить |
|---|---|---|
| Креатив | Заголовок, изображение или видео | Конверсии и цена конверсии, а не только CTR |
| Посадочная страница | Ссылку в объявлениях | Конверсии по основной цели |
| Оффер или акция | Текст предложения и страницу акции | Заявки и доход |
| Стратегия | Тип стратегии или целевую цену | Число конверсий при сопоставимом бюджете |
| Таргетинг | Набор фраз, режим автотаргетинга, гео | Цена конверсии и доля целевых заявок |
Хотите проверять гипотезы на цифрах, а не на ощущениях? Настроим кампании и эксперименты в Директе и будем вести рекламу за вас.
Подробнее об услугеОпубликовано 2026-10-19, обновлено 2026-10-19
Частые вопросы
- Это встроенный инструмент, который делит аудиторию между вариантами кампании так, что каждый пользователь видит только один вариант. Все варианты работают одновременно, поэтому разница в результате объясняется тестируемой настройкой, а не сезонностью или конкурентами.
- В разделе «Библиотека» → «A/B-эксперименты» → «Добавить эксперимент». Также эксперимент можно добавить в дополнительных настройках кампании или через меню действий на странице кампаний.
- По справке Яндекса обучение кампаний занимает в среднем от 7 до 14 дней, а для выводов нужно не менее 10 конверсий в неделю на каждый вариант. Анализировать стоит по полным бюджетным циклам, минимум по двум. При сравнении новой кампании со старой срок увеличивают до четырёх недель.
- Креативы, посадочные страницы, акции, стратегии и ставки, таргетинги. Главное правило — в одном эксперименте меняется только один параметр, иначе нельзя понять, что именно повлияло на результат.
- В отчёте ячейки подсвечиваются в зависимости от p-value: слабо — ниже 0,2, ярко — ниже 0,05. Смотреть нужно на нормированные значения и на целевую метрику бизнеса, а решение принимать после окончания заранее заданного срока, а не по первым дням.
- Это тоже результат: тестируемый параметр заметно не влияет на рекламу. Оставьте более простой вариант, запишите вывод в журнал тестов и переходите к следующей гипотезе.