Яндекс директ тест драйв

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

UPD: с марта 2020 года эксперименты доступны всем рекламодателям без запроса.

Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент

• Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
• В Директе привязать сегменты к тестируемым кампаниям.
• Сравнить статистику по тестовым сегментам и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.

Для правильного эксперимента вам потребуются:

1. Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
2. Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
3. Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
4. Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
5. Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.

В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео.

Важно:

• Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
• Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий, которые вам нужны.
• Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.
• После эксперимента не забудьте отвязать сегменты от кампаний.

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.

Пример: сравнение стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций.

Сегмент	Размер сегмента	Расходы в сегменте	Конверсии
Оптимизация количества кликов	50%	100 000 руб.	200
Средняя рентабельность инвестиций	50%	100 000 руб.	500

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий, чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия:

• Выбирайте один и тот же временной интервал в Метрике и Директе.
• В этом временном интервале эксперимент должен работать.
• Нужно ограничить статистику на тот регион, в котором вы проводили тест (то есть и в Метрике и в Директе указать фильтр на регион).

Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое — теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала. Оставайтесь на связи!

Как тестировать рекламу в Яндекс.Директе, чтобы уже на старте сэкономить 20 000 рублей бюджета

Описание проекта

Наш клиент — единственный официальный представитель компании Felder в России. Специализируется на продажах серебросодержащих припоев — это материал, который используется при пайке различных элементов. То есть это такой очень нишевый B2B.

Юлия Герц
Трафик-менеджер, евангелист Callibri

Действительно, в очень нишевом B2B для полноценной аналитики обращений часто хватает пакета S — в него входит 1 подменный номер и 1 подменный email. Но тематика не показатель для расчета. Необходимое количество подменных элементов рассчитывается исходя из посещаемости вашего сайта. Пакета S хватает сайтам, на которые заходит не более 100 посетителей в день. Даже так: если посещаемость сайта в сутки больше 50, лучше перестраховаться и добавить второй подменный комплект.

Если мы говорим про динамический коллтрекинг, как в этом кейсе, то главное — уникальность. То есть два человека не должны видеть один и тот же номер одновременно. Чем выше посещаемость, тем ниже эта вероятность — для этого и нужна подстраховка. Проверьте, какой пакет подойдет именно вам, с помощью калькулятора, подстраховка в него заложена.

Запускаем тестовые рекламные кампании

• Расходы на кампании составили 47 595 рублей.
• За эти деньги мы получили 32 обращения из Директа.
• CPL (стоимость лида) = 1 487 рублей.

Делай раз: ограничиваем недельный бюджет

• Расходы декабря составили 39 240 рублей.
• Количество лидов — 46.
• CPL = 853 рубля.

Юлия Герц
Трафик-менеджер, евангелист Callibri

Время вмешаться. На скриншотах из кабинета Callibri заметно большое количество красных рамок. Они сообщают, что во время звонка номер видели несколько посетителей сайта одновременно и система не может точно определить, кто именно обратился. Значит нужно подключить еще один (или несколько) подменных номеров.

При этом Callibri заносит в отчет данные пользователя, который в этот момент вел себя активнее других. В большинстве случаев такой трекинг отражает правильные данные, но на этапе более точечных настроек такую статистику применять нельзя: может стать только хуже.

Мы считаем допустимым не больше 10% обращений с красными рамками от общего числа обращений. Переживать из-за одного-двух не стоит: такое случается даже с лучшими из нас из-за редких, но сильных всплесков посещаемости. Но вернемся к кейсу.

Делай два: еще ограничиваем недельный бюджет

Как увеличить количество заявок в три раза с помощью email трекинга

• Расходы на рекламные кампании — 26 478 рублей.
• Получено лидов — 47.
• CPL = 563 рубля.

Две из трех кампаний продолжали движение к снижению цены лида, одна кампания показала результаты чуть хуже предыдущего периода. Вывод из этого такой: автостратегии Яндекс помогают начать движение к заданной цели, но ручного вмешательства для достижения результата не избежать.

А/Б тест объявлений в Яндекс Директ

Для чего нужен A/Б тест объявлений?

Тестирование объявлений является немаловажным фактором в работе с контекстной рекламой. При помощи A/Б тестирования мы сможем выбрать самые эффективные объявления, то есть объявления с самой низкой стоимостью заказа. Важно: При A/Б тесте объявлений необходимо сравнивать не CTR объявлений, а конверсию и стоимость заказа. Для этого перед началом теста нужно настроить цель на страницу «спасибо за заказ» в аналитике.

Порядок действий для создания тестовых объявлений

Для начала нам необходимо получить свежие обновления кампаний с сервера.

Теперь нужно выгрузить кампании, в которых мы хотим создать дополнительные — тестовые объявления в Excel. Для этого нужно:

1. Открыть Директ Коммандер
2. Нажать на кнопку «Экспорт компаний в файл»
3. Выбрать формат «Яндекс.Директ»

Для того что бы добавить дополнительные тестовые объявление, нам нужно:

1. Скопировать кампанию вниз (без названий столбцов)

Во всех фразах в скопированной компании нужно сделать следующее:

1. Поменять знак минус на плюс
2. Удалить ID фразы
3. Удалить фразы с минус словами
4. Удалить ID объявление
5. Удалить регион
6. Удалить ставку
7. Удалить статус объявление
8. Удалить статус фразы
9. Вставить новых текст (для теста)
10. Меняем в ссылке utm_content=test_1 на utm_content=test_2

Добавить тестовое объявление для Яндекс Директ в excel

После того как мы закончили редактировать кампанию в Excel, необходимо скопировать ее и вставить в Директ Коммандер для загрузки изменений на сервер.

Для этого нужно:

2. Нажать «Импорт кампаний из буфера обмена»

3. Нажать «Импортировать в исходную кампанию с перезаписью объявлений»

В результате этих манипуляций, мы создали тестовые объявления в выбранной кампании.

Теперь нам нужно перепроверить utm метки, расширения и быстрые ссылки у новых объявлений. Как только мы убедились, что все сделано верно, мы отправляем РК на модерацию. После того как тестовые объявление начнут показываться, нам останется только ждать, пока у них наберется статистика. Ждём одну неделю, две или больше. Важно, чтобы во время теста объявления получили конверсии. По окончанию теста смотрим статистику по объявлениям. Обращать внимание здесь нужно не на CTR и стоимость клика, а на конверсии. Для этого мы заходим в Яндекс.Метрику, открываем отчет «Директ – сводка».

1. Нажимаем группировки
2. Формируем отчет по группировкам «Кампания Яндекс.Директа, UTM Content», удаляем все остальное
3. Нажимаем древовидный список, выбираем дату
4. Выбираем цель

Показатель конверсий для объявления в Яндекс Директ

Анализ собранной статистики поможет оптимизировать рекламный бюджет и понять какие именно объявления работают эффективнее! ОСТАВИТЬ ЗАЯВКУ!

Добавить комментарий (15) Отменить ответ

говорите, не смотреть на стр объявлений..
а если у одного объявления 20 показов и 0 кликов, а у других при том же количестве показов стр 30%, 16%, 28%, то объявление с стр 0% все-равно оставлять?
может вначале следует отсеивать объявления с низким стр, а потом среди оставшихся кликабельных объявлений проводить а/б тест?
какой минимальный стр должен быть у объявления, чтобы оставаться в кампании? а какие вы отключаете?

Здравствуйте!
20 показов это мало.
Думаю, что Вам нужно подождать хотя бы до 200 и только после этого значения принимать решение.

Вообще есть такое понятие как статистическая значимость или статистическая достоверность.
В статистике величину называют статисти́чески зна́чимой, если мала вероятность случайного возникновения этой величины или ещё более крайних величин.

В интернете есть множество калькуляторов, которые считают статистическую достоверность A/Б тестов, можете воспользоваться ими.

Что касается минимальной величины CTR то, задача найти объявление, которое будет приносить Вам максимальное количество прибыли/покупок/заказов, а не CTR.
Поэтому решение об отключении объявлений нужно принимать, основываясь не на CTR, а на CPO.

Стоимость заказа (англ. CPO — cost per order),
также называемая стоимостью покупки — показатель производительности рекламы.

Чем стоимость заказа меньше, тем это для Вас выгоднее,
так как вы тратите меньше денег на рекламу и получаете больше заказов.

Картинки 404 у вас при клике выдают. Но я о другом:

Меняем в ссылке utm_content=test_1 на utm_content=test_2

У меня такой хвост и так не больше данных будет собирать?utm_content=test1___

ps: это не утверждение, а вопрос.

Здравствуйте!
Если я правильно понял вопрос, то какие параметры Вы передаете в utm зависит от ваших целей.

То есть если Вам нужно видеть
— Идентификатор объявления — Идентификатор ключевой фразы для текстово-графических объявлений или рекламы мобильных приложений
То передавайте эти параметры.

Но test_1 и test_2 для тестирования разных групп объявлений добавить все ровно нужно.

Если отслеживаешь рекламную кампанию в яндекс метрике то UTM метками искажается статистика по источникам траффика . Поэтому проще использовать нативную пометку yclid , а вот есть способы чтобы сравнивать результаты A/B тестирования без UTM меток ?

С помощью вашего метода можно проверять только «кликабельность» объявлений. Когда мы создаем дополнительные объявления, то Яндекс стремится показывать объявление у которого CTR будет выше и для А/Б теста это вообще не подходит. https://yandex.ru/support/direct/features/ad-groups.xml

Если нужно сделать тест, то он делается либо по принципу «Шахматки» (хотя это тоже не совсем корректный способ), либо копируется кампания без потери CTR и равный период тестируются две кампании с одинаковой семантикой, но разными объявлениями.

«и равный период тестируются две кампании с одинаковой семантикой, но разными объявлениями.»
В том смысле, что сначала мы 2 недели по одной кампании собираем статистику, затем 2 недели собираем статистику по второй кампании. Если за день мы собираем большое количество переходов, то тест можно провести за два дня. Главное, чтобы данных было достаточно.

С помощью твоего способа тоже можно получить не достоверные данные. От недели к неделе показатели могут сильно варьироваться, разве нет?

Владислав, Вы правы в том что есть несколько способов тестирования, и каждый из них имеет свои особенности.
Я описал один из них и он тоже работает, не смотря на то что со временем Яндекс отдает приоритет в показах объявлениям с большим CTR.

В целом можно пользоваться конечно этим способом, но во многих случаях он может закончиться тем, что одно объявление у вас наберет 20 переходов и 0 конверсий, а второе — 100 и 4 конверсии.
Тут можно сделать вывод, что второе объявление крутое, но по факту тест просто завален, так как оба объявления должны были набрать хотя бы по 100 кликов (лучше конечно больше).

Этот способ не является удачным именно по этой причине, вы не контролируется процесс теста. Алгоритм в любой момент просто перестает показывать одно из объявлений и при этом конверсии у вас скорее всего еще не накопятся.

Поэтому он в большей степени пригоден для тестирования привлекательности картинок в РСЯ.

Если нажать на картинку, то перекидывает на 404 ошибку.