8995
А/B (сплит) тестирование: подробное руководство к применению
24.07.2018
8 минут
easy
В этой статье от Penguin-team рассмотрим один из наиболее важных инструментов в бизнесе — А/В-тестирование, оно же сплит-тестирование. Рассказ о нем стоит начать с высказывания Дэвида Огилви, одного из отцов современной рекламы, из Ogilvy & Mather:
«Никогда не переставайте тестировать, и ваша реклама никогда не перестанет улучшаться»
Сплит-тесты можно использовать для проверки разных составляющих бизнеса:
- бизнес-модель;
- рекламные объявления;
- посадочные страницы;
- срипты продажников;
- POS-материалы и не только.
Мы подробно рассмотрим А/В-тестирование рекламных объявлений и их влияние на развитие бизнеса.
Что такое A/B- тестирование
А/В-тестирование — это процесс тестирования двух версий одного и того же объекта, когда в этих версиях отличается только один элемент. Варианты элемента и их влияние на показатель эффективности сравниваются при равных условиях (время, сезонность, объемы выборки).
Цель А/В-тестирования — поиск элементов, которые повышают показатели эффективности. Измерение эффективности в равных условиях позволяет перейти от состояния «я думаю, что такое объявление лучше» к «я точно знаю, что это объявление лучше».
Как использовать А/В-тестирование в бизнесе: пример
Цель: увеличить кликабельность (CTR) рекламного объявления.
Объект: рекламное объявление с заголовком.
Способ проведения А/В-тестирования в рекламе
Будет создано два объявления с одинаковым текстом, но разными заголовками. Эти объявления будут показываться потребителям по 10000 раз, с понедельника по пятницу, с 10:00 до 17:00. По завершению показов можно будет сделать вывод, какой заголовок более кликабельный. Далее нужно продолжать тестирование и стремиться к идеальному варианту.
Метрики для оценки эффективности А/В-тестирования
Существуют 6 основных метрик, по которым можно определить лучшее объявление при А/В тестировании:
- CTR (Click Through Rate);
Ориентация на данный показатель важна, если нужно поднять показатель качества аккаунта Google Ads. При этом недостатком будет являться то, что клик будет не очень качественный, так как улучшая CTR, приходится убирать «фильтры» в объявлении.
- коэффициент конверсии;
Коэффициент конверсии показывает, насколько оправдываются ожидания пользователя, который кликнул по объявлению и перешел на сайт. Недостатком метрики для оценки является участие других факторов (качество сайта/продукта, цена и т.п.), на которые PPC специалист не всегда может повлиять.
- CPA (Цена за конверсию);
Хороший показатель для работы с проектами в которых важно не превышать целевую цену за конверсию (услуги, обучение и т.п.). Недостатком является, то что ориентируясь на CPA, можно снизить трафик и объем конверсий.
- ROAS: Return on Ad Spend;
Отлично подходит для поисковых кампаний в электронной коммерции. Использование ROAS в качестве показателя тестирования помогает обеспечить соответствие дохода с рекламы рекламным расходам.
- метрики на основе показов (CPI — conversion per impression или RPI — revenue per impression).
Основным преимуществом использования данных показателей является то, что они учитывают и CTR, и коэффициент конверсии одновременно.
CPI = (Конверсии / показы объявления) * 100%
Пример:
RPI = (Доход / показы объявления) * 100%
Чтобы их отслеживать, необходимо добавить кастомный показатель в интерфейс Google Ads:
- Нажать кнопку «добавление колонок» в интерфейсе.
- Выбрать «custom columns».
- Добавить показатель.
Как правило, это самые взвешенные показатели тестирования, которые учитывают коэффициент конверсии и CTR.
Сам алгоритм проведения A/В тестирования можно описать 5 пунктами.
Алгоритм А/В-тестирования
- Формирование гипотезы (если внедрить …, то это улучшит … ).
- Целевая метрика, по которой определяется победитель.
- Формат теста (Single Ad A/B test или Multi Ad A/B test).
- Сбор и валидация данных.
- Внесение изменений.
Подробно про тестирование мы писали в гайде по CRO — читайте его, если хотите знать больше!
Тестирование текстов рекламных объявлений в Google Ads и Яндекс.Директ
Проведение А/В-тестирования в Яндекс Директе можно оставить на внутренний алгоритм Яндекса при котором в группу нужно загрузить объявления и система по истечению времени выберет «лучший» вариант. Либо воспользоваться инструкцией от ConverMonster.
В Google Ads существует два способа проведения А/В-тестирования объявлений в аккаунте:
- тестирование объявления в рамках одной группы (Single Ad A/B test);
Single Ad A/B test — наиболее часто используется в Google Ads. Подразумевает, что в группе должно быть 1+ объявлений, в которых есть тестируемый элемент. И при «победе» какого-либо из объявлений элемент передается в другие объявления.
- тестирование концептов объявлений в группах кампании (Multi Ad A/B test).
Multi Ad A/B test — тест шаблона текста сразу во всех группах объявлений в рамках кампании.
Как выбрать формат теста?
| Условия | Single Ad A/B test | Multi Ad A/B test |
| Брендовые запросы | да | нет |
| ВЧ запросы | да | нет |
| СЧ запросы | нет | да |
| НЧ запросы | нет | да |
| Другие бренды | да (ВЧ) | да (СЧ и НЧ) |
Single Ad A/B test — оптимальный вариант, когда нужно найти «идеальное» предложение для ВЧ-запроса, данный способ поможет сделать объявление максимально адаптированным под аудиторию данного запроса.
Пример реализации:
Разберем 2 основных подхода.
Наиболее распространенный подход — это А/В-тестирование каждого элемента объявления:
- заголовок 1;
- заголовок 2;
- текст объявления.
Тестировать дополнительные ссылки и уточнения нет смысла, так как они показываются на основе факторов, на которые не всегда можно повлиять (позиция, аудитория и т.п.).
Multi Ad A/B test — наиболее практичный вариант тестирования, так как помогает быстро найти оптимальный вид объявлений в аккаунте. Основным преимуществом является то, что можно подобрать вид объявления на основе всех данных, полученных рекламной кампанией.
Концепты, которые стоит проверить:
- Стоит ли использовать имя бренда в заголовках?
- Увеличит ли CTR добавление географии в объявление?
- Сработает ли {KeyWord:…} ?
- Скидка или бесплатная доставка в объявлении?
- Гарантия качества или гарантия возврата?
- Стоит ли использовать модификаторы объявлений?
- Разные описания/коммерческие предложения.
Пример реализации:
VS
Тестируем выделенный элемент объявления
Важно поставить ярлыки к тестируемым объявлениям, это позволит в дальнейшем отфильтровать их и проанализировать эффективность.
Данные по Multi Ad A/B test можно собрать тремя способами:
- Вручную. Отфильтровать по ярлыку и последовательно сравнить метрики.
- С помощью выгрузки в Excel (по ссылке — инструкция и шаблоны по созданию сводных таблиц в эксель).
- Формирование отчета в интерфейсе Google Ads (наиболее оптимальный вариант). В интерфейсе по Ad Label / Ad Group Label сформировать нужный отчет. Здесь есть только один недостаток — отсутствие кастомных метрик.
Валидация А/В-тестирования объявлений
Один из важнейших вопросов — какие минимальные данные можно считать валидными при А/В-тестировании объявлений. Предлагаем воспользоваться наработками Брэда Геддеса из AdAlysis:
Объем трафика | Показы | Клики | Конверсии |
Малый трафик (до 2000 кликов/РК) | 350 | 300 | 7 |
Средний трафик (до 5000 кликов/РК) | 750 | 500 | 13 |
Высокий трафик (от 5000 и выше) | 1000 | 1000 | 20 |
Брендовый трафик | 10-100 тыс | 1-10 тыс | 1000 |
Это рекомендации по минимально необходимым значениям. Если же данных собрано больше, в них не будет ошибки.
Также специалисты агентства контекстной рекламы Penguin-team советуют не превышать максимальные значения по объему данных:
- Период теста не больше 3 месяцев.
- Объем не больше 10-кратного от минимальных значений.
Для каждой целевой метрики нужно следить за валидностью определенных показателей:
Метрика | Показы | Клики | Конверсии |
CTR | да | да | |
Цена конверсии | да | ||
Коэф. конверсии | да | да | |
CPI | да | да | |
ROAS | да | ||
RPI | да | да |
Как использовать результаты А/В-тестирования
Для Single Ad A/B test:
- ставить на паузу проигравшие объявления;
- создать новое объявление претендента на победу.
Для Multi Ad A/B test:
- остановить объявления во всех группах;
- зафиксировать инсайты в отчете;
- сгенерировать новую гипотезу и проверить ее.
Также полученная информация по проведению А/В-тестирования может быть использована в других направлениях интернет-маркетинга:
- коммерческие предложения в email-рассылках;
- заголовки в seo-сниппете;
- свойства, преимущества на посадочных страницах;
- призывы к действию в сниппетах и emails.
Если начать подходить системно к тестированию, то можно получить важную информацию о нуждах и поведении целевой аудитории, которая поможет скорректировать всю стратегию интернет-маркетинга компании.
Чек-лист: 9 факторов для успешного A/B-тестирования объявлений
✓ Настройка равномерного чередования объявлений в аккаунте сделана.
✓ Выборка достаточно большая; данных достаточно для валидации теста.
✓ Время и дни показа объявлений одинаковы.
✓ Процесс тестирования проходит в равных рыночных условиях: или на спаде, или на подъеме.
✓ Тестируется только один элемент.
✓ Тест проводится системно, «step by step». Промежутки между тестами не больше 30 дней. Вся информацию собрана в отдельном файле, тесты и их результаты фиксируются.
✓ Тестируемый текст привлекает внимание целевой аудитории и учитывает особенности компании. Т.е. не стоит копировать «лучшие» решения, а искать свои решения в контексте каждого проекта.
✓ У каждого теста есть своя цель и своя гипотеза. Пример: «Давайте заменим „30% скидки“, на „скидка 1200$“ — таким образом мы привлечем внимание аудитории, потому что денежный эквивалент скорее всего лучше подчеркнет выгоду нашего предложения».
✓ Тест длится до получения результата. Если результата нет, тест продолжается, потому что улучшение даже на 1-2% по целевым KPI делает рекламную кампанию лучше.
Если каждый элемент объявления будет работать максимально эффективно, это даст снижение общих затрат на рекламную кампанию.
PPC-агентство Penguin-team рекомендует: всегда тестируйте, пробуйте разные варианты и никогда не останавливайтесь на достигнутом. Тогда рекламную кампанию будет ожидать успех, так как объявления будут иметь самые лучшие результаты на рынке!
Loading... 
