А/B (сплит тестирование): подробное руководство к применению

24.07.2018
Николай Скоропадский
8 минут
Google Ads, Контекстная реклама, Оптимизация/Аудит, Яндекс Директ,
1081

В данной статье рассмотрим один из наиболее важных инструментов в бизнесе — А/В (сплит) тестирование. Рассказ о данном инструменте стоит начать с высказывания Дэвида Огилви (один из отцов современной рекламы) из Ogilvy & Mather: «Никогда не переставайте тестировать, и ваша реклама никогда не перестанет улучшаться». Данную технологию можно использовать в тестировании разных составляющих бизнеса:

  • Бизнес моделях;
  • Рекламных объявлениях;
  • Посадочных страницах;
  • Скриптах продажников;
  • POS материалах;

и т.п.

В данной статье подробно будет рассмотрено тестирование рекламных объявлений и их влияние на развитие бизнеса.

Что такое A/B тестирование

А/B тестирование — это процесс тестирования двух версий одного и того же объекта, когда в этих версиях отличается только один элемент.  При равных условиях (время, сезонность, объемы выборки) сравниваются варианты этого элемента и их влияние на показатель эффективности. Цель — поиск элементов, которые повышают показатели эффективности. Измерение эффективности в равных условиях позволяет перейти от состояния «я думаю, что такое объявление лучше» к «я точно знаю, что это объявление лучше».

Пример:

Цель: увеличить кликабельность (CTR) рекламного объявления.

Объект — рекламное объявление, которое содержит элемент — заголовок.

Механика:

Будет создано два объявления с одинаковым текстом, но разными заголовками. Эти объявления будут показываться потребителям по 10000 раз, с понедельника по пятницу, с 10.00 до 17.00. По завершению показов можно будет сделать вывод, какой заголовок более кликабельный. Далее нужно продолжать тестирование и стремиться к идеальному варианту.

Существуют 6 основных метрик, по которым можно определить лучшее объявление при А/В тестировании:

  • CTR (Click Through Rate);

Ориентация на данный показатель важна, если нужно поднять показатель качества аккаунта Google Ads. При этом недостатком будет являться то, что клик будет не очень качественный, так как улучшая CTR, приходится убирать «фильтры» в объявлении.

  • Коэффициент конверсии;

Данная метрика показывает, насколько оправдываются ожидания пользователя, который кликнул по объявлению и перешел на сайт. Недостатком метрики для оценки является участие других факторов (качество сайта/продукта, цена и т.п.), на которые PPC специалист не всегда может повлиять.

  • CPA (Цена за конверсию);

Хороший показатель для работы с проектами в которых важно не превышать целевую цену за конверсию (услуги, обучение и т.п.). Недостатком является, то что ориентируясь на CPA, можно снизить трафик и объем конверсий.

  • ROAS: Return on Ad Spend;

Отлично подходит для поисковых кампаний в электронной коммерции. Использование ROAS в качестве показателя тестирования помогает обеспечить соответствие ваших затрат рекламным расходам.

  • Метрики на основе показов (CPI — conversion per impression или RPI — revenue per impression).

Основным преимуществом использования данных показателей является то, что они учитывают и CTR, и коэффициент конверсии одновременно.

CPI = (Конверсии / показы объявления) * 100%

Пример:

метрики на основе показов
Показатели CPI

RPI = (Доход / показы объявления) * 100%

RPI
Показатели RPI

Чтобы их отслеживать, необходимо добавить кастомный показатель в интерфейс Google Ads:

  1. Нажать кнопку «добавление колонок» в интерфейсе;
  2. Выбрать «custom columns»;
  3. Добавить показатель.
добавить кастомный показатель
Добавление кастомного показателя

Как правило, это самые взвешенные показатели тестирования, которые учитывают коэффициент конверсии и CTR.

 

Сам алгоритм проведения A/В тестирования можно описать 5-ю пунктами:

 

  1. Формирование гипотезы (если внедрить …, то это улучшит … );
  2. Целевая метрика, по которой определяется победитель;
  3. Механика теста (Single Ad A/B test или Multi Ad A/B test);
  4. Сбор и валидация данных;
  5. Внесение изменений.

Тестирование текстов рекламных объявлений в Google Ads и Яндекс.Директ

Проведение А/В тестирования в Яндекс Директе можно оставить на внутренний алгоритм Яндекса при котором в группу нужно загрузить объявления и система по истечению времени выберет «лучший» вариант. Либо воспользоваться инструкцией от ConverMonster.

В Google Ads существует два способа проведения A/В теста объявлений в аккаунте:

  • тестирование объявления в рамках одной группы (Single Ad A/B test);

Single Ad A/B test — наиболее часто используется в Google Ads. Подразумевает, что в группе должно быть 1+ объявлений, в которых есть тестируемый элемент. И при «победе» какого-либо из объявлений элемент передается в другие объявления.

  • тестирование концептов объявлений в группах кампании (Multi Ad A/B test).

Multi Ad A/B test — тест шаблона текста сразу во всех группах объявлений в рамках кампании.

Условия, по которым нужно выбирать тот или иной способ тестирования

УсловияSingle Ad A/B testMulti Ad A/B test
Брендовые запросыданет
ВЧ запросыданет
СЧ запросынетда
НЧ запросынетда
Другие брендыда (ВЧ)да (СЧ и НЧ)

 

Single Ad A/B test — оптимальный вариант, когда нужно найти «идеальное» предложение для ВЧ запроса, данный способ поможет сделать объявление максимально адаптированным под аудиторию данного запроса.

Пример реализации:

Single Ad A/B test
Реализация A/B теста на практике

Разберем 2 основных подхода.

Наиболее распространенный подход — это тестирование каждого элемента объявления:

  • заголовок 1;
  • заголовок 2;
  • текст объявления.
первый подход в тестировании
Элементы объявления, которые тестируются

Тестировать дополнительные ссылки и уточнения нет смысла, так как они показываются на основе факторов, на которые не всегда можно повлиять (позиция, аудитория и т.п.).

 

Multi Ad A/B test — наиболее практичный вариант тестирования, так как помогает быстро найти оптимальный вид объявлений в аккаунте. Основным преимуществом является то, что можно подобрать вид объявления на основе всех данных, полученных рекламной кампанией.

 

Концепты, которые стоит проверить:

 

  1. Стоит ли использовать имя бренда в заголовках?
  2. Увеличит ли CTR добавление географии в объявление?
  3. Сработает ли {KeyWord:…} ?
  4. Скидка или бесплатная доставка в объявлении?
  5. Гарантия качества или гарантия возврата?
  6. Стоит ли использовать модификаторы объявлений?
  7. Разные описания/коммерческие предложения.

 

Пример реализации:

VS

Тестируем выделенный элемент объявления

 

Важно поставить ярлыки к тестируемым объявлениям, это позволит в дальнейшем отфильтровать их и проанализировать эффективность.

ярлыки в объявлениях
Обозначаем ярлыками объявления

Данные по Multi Ad A/B test можно собрать тремя способами:

 

1-й. Вручную. Отфильтровать по ярлыку и последовательно сравнить метрики.

 

2-й. С помощью выгрузки в Excel (по ссылке — инструкция и шаблоны по созданию сводных таблиц в эксель).

 

3-й. Формирование отчета в интерфейсе Google Ads (наиболее оптимальный вариант). В интерфейсе по Ad Label / Ad Group Label сформировать нужный отчет. Здесь есть только один недостаток — отсутствие кастомных метрик.

сбор данных
Формирование отчета

Валидация А/В тестирования объявлений

Один из важнейших вопросов, на который нужно ответить — какие минимальные данные можно считать валидными при А/В тестировании объявлений. Предлагаем воспользоваться наработками Брэда Геддеса из AdAlysis:

Объем трафика

Показы

Клики

Конверсии

Малый трафик (до 2к кликов/РК)

350

300

7

Средний трафик

(до 5к кликов/РК)

750

500

13

Высокий трафик

(от 5к и выше)

1000

1000

20

Брендовый трафик

10к — 100к

1к — 10к

100 – 1к

Это рекомендации по минимально необходимым значениям. Если же данных собрано больше, в них не будет ошибки.

Также советуем не превышать максимальные значения по объему данных:

  1. Период теста не больше 3-х месяцев;
  2. Объем не больше 10-кратного от минимальных значений.

Для каждой целевой метрики нужно следить за валидностью определенных показателей:

Метрика

Показы

Клики

Конверсии

CTR

да

да

 

Цена конверсии

  

да

Коэф. конверсии

 

да

да

CPI

да

 

да

ROAS

  

да

RPI

да

 

да

Как использовать результаты тестирования

Для Single Ad A/B test:

  • ставить на паузу проигравшие объявления;
  • создать новое объявление претендента на победу.

Для Multi Ad A/B test:

  • остановить объявления во всех группах;
  • зафиксировать инсайты в отчете;
  • сгенерировать новую гипотезу и проверить ее.

Также полученная информация по проведению А/В тестирования может быть использована в других направлениях интернет-маркетинга:

  • коммерческие предложения в email рассылках;
  • заголовки в seo сниппете;
  • свойства, преимущества на посадочных страницах;
  • призывы к действию в сниппетах и emails.

Если начать подходить системно к тестированию, то можно получить важную информацию о нуждах и поведении целевой аудитории, которая поможет скорректировать всю стратегию интернет-маркетинга компании.

9 правил A/B тестирования объявлений

  1. Не забыть поставить настройку равномерного чередования объявлений в аккаунте.
чередование объявлений
Настройка равномерной ротации объявлений
  1. Выборка должна быть достаточно большая. Используем данные для валидации теста;
  2. Время и дни показа объявлений должны быть одинаковыми;
  3. Процесс тестирования должен проходить в равных рыночных условиях: или на спаде, или на подъеме;
  4. Тестировать нужно только один элемент, иначе невозможно сделать правильный вывод.
  5. Проводить тест нужно системно, «step by step». Промежутки между тестами не должны быть больше 30 дней. Всю информацию о тестах желательно собирать в отдельном файле и писать по каждому из них.
  6. Тестируемый текст, должен не только привлекать внимание целевой аудитории, но и учитывать особенности компании. Т.е. не стоит копировать «лучшие» решения, а искать свои решения в контексте каждого проекта.
  7. Каждый тест, должен обладать целью и гипотезой. Пример: «Давайте заменим „30% скидки“, на „скидка $1200“ — таким образом мы привлечем внимание аудитории, потому что денежный эквивалент скорее всего лучше подчеркнет выгоду нашего предложения».
  8. Не отказываться от проведения теста при отсутствии быстрых значимых результатов. Не стоит бросать тестирование на ранних этапах, потому что улучшение даже на 1-2% по целевым KPI делает рекламную кампанию лучше.

Если каждый элемент объявления будет работать максимально эффективно, это даст снижение общих затрат на рекламную кампанию!

Всегда тестируйте, пробуйте разные варианты и никогда не останавливайтесь на достигнутом, и в таком случае рекламную кампанию будет ожидать успех, так как объявления будут иметь самые лучшие результаты на рынке.

Получить 7 писем о том,
как улучшить свой AdWords аккаунт
+ PPC статьи

Имя
e-mail
Улучшить AdWords

Улучшить свой AdWords

Получите 7 писем, о том, как можно улучшить свой аккаунт в AdWords

Подписаться

Наш сайт использует файлы cookie, чтобы улучшить работу и предоставить максимальное удобство пользователям.




В версии 2.1.1

  • Добавлена поддержка "Google Keyword Planner"
  • Используйте "LeftALT + S" для поиска слов
  • "Показать/скрыть" теперь полностью скрывает расширение с экрана

Основные комбинации

  • LeftMouseClick для добавления слова, повторное нажатие - для удаления
  • LeftALT + LeftMouseClick - для сбора фраз
  • LeftALT + S - для поиска слов