А/B (сплит) тестирование: подробное руководство к применению

24.07.2018
Николай Скоропадский
8 минут
Google Ads, Контекстная реклама, Оптимизация/Аудит, Яндекс Директ,
5266

В этой статье рассмотрим один из наиболее важных инструментов в бизнесе — А/В-тестирование, оно же сплит-тестирование. Рассказ о нем стоит начать с высказывания Дэвида Огилви, одного из отцов современной рекламы, из Ogilvy & Mather:

«Никогда не переставайте тестировать, и ваша реклама никогда не перестанет улучшаться»

Сплит-тесты можно использовать в проверки разных составляющих бизнеса:

  • бизнес-модель;
  • рекламные объявления;
  • посадочные страницы;
  • срипты продажников;
  • POS-материалы и не только.

Мы подробно рассмотрим тестирование рекламных объявлений и их влияние на развитие бизнеса.

Что такое A/B тестирование

А/B тестирование — это процесс тестирования двух версий одного и того же объекта, когда в этих версиях отличается только один элемент. Варианты элемента и их влияние на показатель эффективности сравниваются при равных условиях (время, сезонность, объемы выборки).

Цель А/Б-тестов — поиск элементов, которые повышают показатели эффективности. Измерение эффективности в равных условиях позволяет перейти от состояния «я думаю, что такое объявление лучше» к «я точно знаю, что это объявление лучше».

Как использовать А/Б-тест в бизнесе: пример

Цель: увеличить кликабельность (CTR) рекламного объявления.

Объект: рекламное объявление с заголовком. 

Способ проведения А/Б-тестирования в рекламе

Будет создано два объявления с одинаковым текстом, но разными заголовками. Эти объявления будут показываться потребителям по 10000 раз, с понедельника по пятницу, с 10:00 до 17:00. По завершению показов можно будет сделать вывод, какой заголовок более кликабельный. Далее нужно продолжать тестирование и стремиться к идеальному варианту.

Метрики для оценки эффективности теста

Существуют 6 основных метрик, по которым можно определить лучшее объявление при А/В тестировании:

  • CTR (Click Through Rate);

Ориентация на данный показатель важна, если нужно поднять показатель качества аккаунта Google Ads. При этом недостатком будет являться то, что клик будет не очень качественный, так как улучшая CTR, приходится убирать «фильтры» в объявлении.

  • коэффициент конверсии;

Коэффициент конверсии показывает, насколько оправдываются ожидания пользователя, который кликнул по объявлению и перешел на сайт. Недостатком метрики для оценки является участие других факторов (качество сайта/продукта, цена и т.п.), на которые PPC специалист не всегда может повлиять.

  • CPA (Цена за конверсию);

Хороший показатель для работы с проектами в которых важно не превышать целевую цену за конверсию (услуги, обучение и т.п.). Недостатком является, то что ориентируясь на CPA, можно снизить трафик и объем конверсий.

  • ROAS: Return on Ad Spend;

Отлично подходит для поисковых кампаний в электронной коммерции. Использование ROAS в качестве показателя тестирования помогает обеспечить соответствие дохода с рекламы рекламным расходам.

  • метрики на основе показов (CPI — conversion per impression или RPI — revenue per impression).

Основным преимуществом использования данных показателей является то, что они учитывают и CTR, и коэффициент конверсии одновременно.

CPI = (Конверсии / показы объявления) * 100%

Пример:

метрики на основе показов
Показатели CPI

RPI = (Доход / показы объявления) * 100%

RPI
Показатели RPI

Чтобы их отслеживать, необходимо добавить кастомный показатель в интерфейс Google Ads:

  1. Нажать кнопку «добавление колонок» в интерфейсе.
  2. Выбрать «custom columns».
  3. Добавить показатель.
добавить кастомный показатель
Добавление кастомного показателя

Как правило, это самые взвешенные показатели тестирования, которые учитывают коэффициент конверсии и CTR.

Сам алгоритм проведения A/В тестирования можно описать 5 пунктами.

Алгоритм сплит-тестирования

  1. Формирование гипотезы (если внедрить …, то это улучшит … ).
  2. Целевая метрика, по которой определяется победитель.
  3. Формат теста (Single Ad A/B test или Multi Ad A/B test).
  4. Сбор и валидация данных.
  5. Внесение изменений.

Подробно про тестирование мы писали в гайде по CRO — читайте его, если хотите знать больше!

Тестирование текстов рекламных объявлений в Google Ads и Яндекс.Директ

Проведение А/В тестирования в Яндекс Директе можно оставить на внутренний алгоритм Яндекса при котором в группу нужно загрузить объявления и система по истечению времени выберет «лучший» вариант. Либо воспользоваться инструкцией от ConverMonster.

В Google Ads существует два способа проведения A/В теста объявлений в аккаунте:

  • тестирование объявления в рамках одной группы (Single Ad A/B test);

Single Ad A/B test — наиболее часто используется в Google Ads. Подразумевает, что в группе должно быть 1+ объявлений, в которых есть тестируемый элемент. И при «победе» какого-либо из объявлений элемент передается в другие объявления.

  • тестирование концептов объявлений в группах кампании (Multi Ad A/B test).

Multi Ad A/B test — тест шаблона текста сразу во всех группах объявлений в рамках кампании.

Как выбрать формат теста?

УсловияSingle Ad A/B testMulti Ad A/B test
Брендовые запросыданет
ВЧ запросыданет
СЧ запросынетда
НЧ запросынетда
Другие брендыда (ВЧ)да (СЧ и НЧ)

Single Ad A/B test — оптимальный вариант, когда нужно найти «идеальное» предложение для ВЧ-запроса, данный способ поможет сделать объявление максимально адаптированным под аудиторию данного запроса.

Пример реализации:

Single Ad A/B test
Реализация A/B теста на практике

Разберем 2 основных подхода.

Наиболее распространенный подход — это тестирование каждого элемента объявления:

  • заголовок 1;
  • заголовок 2;
  • текст объявления.
первый подход в тестировании
Элементы объявления, которые тестируются

Тестировать дополнительные ссылки и уточнения нет смысла, так как они показываются на основе факторов, на которые не всегда можно повлиять (позиция, аудитория и т.п.).

Multi Ad A/B test — наиболее практичный вариант тестирования, так как помогает быстро найти оптимальный вид объявлений в аккаунте. Основным преимуществом является то, что можно подобрать вид объявления на основе всех данных, полученных рекламной кампанией.

Концепты, которые стоит проверить:

  1. Стоит ли использовать имя бренда в заголовках?
  2. Увеличит ли CTR добавление географии в объявление?
  3. Сработает ли {KeyWord:…} ?
  4. Скидка или бесплатная доставка в объявлении?
  5. Гарантия качества или гарантия возврата?
  6. Стоит ли использовать модификаторы объявлений?
  7. Разные описания/коммерческие предложения.

Пример реализации:

VS

Тестируем выделенный элемент объявления

Важно поставить ярлыки к тестируемым объявлениям, это позволит в дальнейшем отфильтровать их и проанализировать эффективность.

ярлыки в объявлениях
Обозначаем ярлыками объявления

Данные по Multi Ad A/B test можно собрать тремя способами:

  1. Вручную. Отфильтровать по ярлыку и последовательно сравнить метрики.
  2. С помощью выгрузки в Excel (по ссылке — инструкция и шаблоны по созданию сводных таблиц в эксель).
  3. Формирование отчета в интерфейсе Google Ads (наиболее оптимальный вариант). В интерфейсе по Ad Label / Ad Group Label сформировать нужный отчет. Здесь есть только один недостаток — отсутствие кастомных метрик.
сбор данных
Формирование отчета

Валидация А/В тестирования объявлений

Один из важнейших вопросов — какие минимальные данные можно считать валидными при А/В тестировании объявлений. Предлагаем воспользоваться наработками Брэда Геддеса из AdAlysis:

Объем трафика

Показы

Клики

Конверсии

Малый трафик (до 2000 кликов/РК)

350

300

7

Средний трафик

(до 5000 кликов/РК)

750

500

13

Высокий трафик

(от 5000 и выше)

1000

1000

20

Брендовый трафик

10-100 тыс

1-10 тыс

1000

Это рекомендации по минимально необходимым значениям. Если же данных собрано больше, в них не будет ошибки.

Также советуем не превышать максимальные значения по объему данных:

  1. Период теста не больше 3 месяцев;
  2. Объем не больше 10-кратного от минимальных значений.

Для каждой целевой метрики нужно следить за валидностью определенных показателей:

Метрика

Показы

Клики

Конверсии

CTR

да

да

 

Цена конверсии

  

да

Коэф. конверсии

 

да

да

CPI

да

 

да

ROAS

  

да

RPI

да

 

да

Как использовать результаты тестирования

Для Single Ad A/B test:

  • ставить на паузу проигравшие объявления;
  • создать новое объявление претендента на победу.

Для Multi Ad A/B test:

  • остановить объявления во всех группах;
  • зафиксировать инсайты в отчете;
  • сгенерировать новую гипотезу и проверить ее.

Также полученная информация по проведению А/В-тестирования может быть использована в других направлениях интернет-маркетинга:

  • коммерческие предложения в email-рассылках;
  • заголовки в seo-сниппете;
  • свойства, преимущества на посадочных страницах;
  • призывы к действию в сниппетах и emails.

Если начать подходить системно к тестированию, то можно получить важную информацию о нуждах и поведении целевой аудитории, которая поможет скорректировать всю стратегию интернет-маркетинга компании.

Чек-лист: 9 факторов для успешного A/B-тестирования объявлений

‎✓ Настройка равномерного чередования объявлений в аккаунте сделана.

чередование объявлений
Настройка равномерной ротации объявлений

‎✓ Выборка достаточно большая; данных достаточно для валидации теста.

‎✓ Время и дни показа объявлений одинаковы.

‎✓ Процесс тестирования проходит в равных рыночных условиях: или на спаде, или на подъеме.

‎✓ Тестируется только один элемент. 

‎✓ Тест проводится системно, «step by step». Промежутки между тестами не больше 30 дней. Вся информацию собрана в отдельном файле, тесты и их результаты фиксируются.

‎✓ Тестируемый текст привлекает внимание целевой аудитории и учитывает особенности компании. Т.е. не стоит копировать «лучшие» решения, а искать свои решения в контексте каждого проекта.

‎✓ У каждого теста есть своя цель и своя гипотеза. Пример: «Давайте заменим „30% скидки“, на „скидка 1200$“ — таким образом мы привлечем внимание аудитории, потому что денежный эквивалент скорее всего лучше подчеркнет выгоду нашего предложения».

‎✓ Тест длится до получения результата. Если результата нет, тест продолжается,  потому что улучшение даже на 1-2% по целевым KPI делает рекламную кампанию лучше.

Если каждый элемент объявления будет работать максимально эффективно, это даст снижение общих затрат на рекламную кампанию.

Всегда тестируйте, пробуйте разные варианты и никогда не останавливайтесь на достигнутом. Тогда рекламную кампанию будет ожидать успех, так как объявления будут иметь самые лучшие результаты на рынке!

1 Star2 Stars3 Stars4 Stars5 Stars (2 votes, average: 5.00 out of 5)
Loading...

Будьте в курсе последних обновлений

Присоединиться в

Николай Скоропадский

Founder, CEO

Учился на маркетолога в ДонНУ им. Василия Стуса. В 2011 году начал работать btl-менеджером на отечественных и зарубежных проектах в классическом рекламном агентстве. В интернет-маркетинге с 2013, в том же году создал свое агентство. Стратег, идейный вдохновитель и продакт-менеджер продуктов компании.

Получить 7 писем о том,
как улучшить свой AdWords аккаунт
+ PPC статьи

Имя
e-mail
Улучшить AdWords

Улучшить свой AdWords

Получите 7 писем, о том, как можно улучшить свой аккаунт в AdWords

Подписаться

Наш сайт использует файлы cookie, чтобы улучшить работу и предоставить максимальное удобство пользователям.

В версии 3.0.0

  • новые сервисы: Ubersuggest (NeilPatel), Spyfu и другие;
  • автосохранение списка минус-слов в рабочей области;
  • авторизация для хранения данных в аккаунте;
  • списки типовых минус-слов;
  • возможность хранить пользовательские списки минус-слова в расширении для дальнейшего применения в аккаунте;
  • англоязычный и русскоязычный интерфейс.

Основные комбинации

  • LeftMouseClick для добавления слова, повторное нажатие - для удаления
  • LeftALT + LeftMouseClick - для сбора фраз
  • LeftALT + S - для поиска слов

In version 3.0.0

  • new services: Ubersuggest (NeilPatel), Spyfu and others;
  • autosave of a negative keywords list in the workspace;
  • authorization for storing data in the account;
  • generic negative keyword lists;
  • the ability to store custom lists of negative keywords in the extension for further use in your account;
  • English and Russian interface.

Key combinations

  • LeftMouseClick to add a word, press again - to delete
  • LeftALT + LeftMouseClick - to collect phrases
  • LeftALT + S - for words searching

В версии 2.0

  • 2 режима выдачи ключевых слов:
  • быстрая выдача - аналогична выдаче Google Planner, но найденные результаты включают каждое слово из введенной в поиск фразы;
  • полная выдача - расширенная выдача, которая включает поиск по дополнительным релевантным фразам, но найденные результаты также включают каждое слово из введенной в поиск фразы.
  • Обновленный файл выгрузки ключевых слов Excel:
  • выгрузка локаций в удобном формате для загрузки в Editor;
  • обновленный шаблон для создания объявлений.
  • Полный список локаций.
  • Группировка отчетов по проектам.
  • Устранена ошибка с задержкой в 30 секунд.
  • Новые фильтры для получения релевантной выдачи.
  • Копирование минус-слов.

In version 2.0:

  • 2 modes of keywords search result:
  • quick search result - is similar to one of Google Planner , but the results found include every word of the phrase entered in the search;
  • full search result - extended search result that includes search on additional relevant phrases, but the results found also include every word of the phrase entered in the search.
  • Updated Exces Keyword Upload File:
  • uploading of locations in a convenient format for uploading to Editor;
  • updated template for creating ads.
  • Full list of locations.
  • Grouping of reports on the projects.
  • Fixed an error with a delay of 30 seconds.
  • New filters for getting relevant search results.
  • Copying of negative keywords.

Несколько шагов до работы в Penguin

Заполните форму

Прикрепите резюме:
1Кликов 259, показов 3 515. Чему равно CTR?
2Заходов на сайт 874, конверсий 16. Чему равен коэффициент конверсии?
3Что такое СРА?
4CTR 4,03%, кликов 240. Чему равно число показов объявления?
5Затрат 20 158, конверсий 63. Чему равна стоимость конверсии?

Несколько шагов до работы в Penguin

Заполните форму

Прикрепите резюме: