Объявления — единственный элемент Google Ads, который виден пользователю; остальные настройки только указывают, когда его показывать. Логично, что подготовка объявлений требует тщательной проработки.
Эта подготовка включает в том числе тестирование — единственный способ наверняка узнать что-то, а не предполагать. Правильное тестирование в итоге способно повысить количество конверсий, снизить затраты на них, увеличить показатель качества и не только. Что значит «правильно» — в нашем сегодняшнем письме!
Есть два способа тестировать объявления:
🐧тестирование одной группы;
🐧совместное тестирование нескольких групп.
Тестирование одной группы объявлений (А/B)
Наиболее распространенный способ. Для него в одной группе создается 2 и больше объявлений, а по итогам выбирается объявление-победитель с лучшими результатами. Обычно этот способ называют А/В-тестированием.
Важно! Используйте этот метод, если вам нужно выбрать лучший месседж пользователю при одном способе таргетинга (ключи, списки ремаркетинга, интересы, темы и т.д). Как правило, это лучший метод тестирования брендовых запросов, самых эффективных ключевых слов и способов таргетинга, при которых собирается большое количество данных.
Минусы такого способа:
- Нельзя тестировать группы объявлений с «малыми мощностями»: те, в которых данные накапливаются медленно и в небольших количествах. Если тест-группа получает мало данных, в итоге собранной информации будет мало для статистической значимости результатов.
- Эффективность под вопросом. Представьте: у вас в кампании 15 групп объявлений. Вы тестите одну таким вот способом. Но результаты этого теста применимы только внутри одной группы! И делать выводы касательно остальных 14 групп вы не можете. То есть надо отдельно тестить каждую из них, а на это времени не напасешься.
Чтобы получать более глобальную информацию или тестить «маломощные» группы объявлений, есть второй метод.
Тестирование нескольких групп объявлений (мультитест)
С мультитестом можно проверить заголовок, описание и другие параметры в нескольких группах объявлений сразу, а затем объединить полученные данные.
Несколько основных преимуществ:
🐧в процессе собирается больше данных для оценки;
🐧появляются глобальные инсайты;
🐧эффективность выше, ведь полученные результаты применимы ко всем группам — участницам теста.
Вот парочка примеров, что можно проверить таким образом:
- Увеличивает ли CTR использование геоданных?
- Что дает лучший показатель переходов/конверсий из Поиска: предложение скидки или бесплатной доставки в объявлении?
- Как расширения влияют на эффективность РРС (на показатель CTR, конверсии и т.д.)?
- Что работает лучше в заголовке: выгода, СТА или что-то другое?
- Что работает лучше в описании: акцент на широком ассортименте или на поддержке клиентов?
- Как влияет использование бренда в объявлении на его эффективности. Что, если добавлять в заголовок название бренда? А если нет? А если добавить его в описание?
Все эти вопросы — гипотезы, что и как влияет на эффективность рекламы. Если их проверить и получить результаты, вы узнаете, как делать объявление лучше и повышать результативность РРС.
Как проводить тестирование
- Выбор групп объявлений, которые будут участвовать в тесте.
- Выбор гипотезы, которая тестируется.
- Организация групп объявлений.
- Сбор данных.
- Оценка данных.
- Проверка статистической значимости.
- Принятие решения.
1. Выбор групп объявлений для теста
ВАЖНО! Тестировать несколько групп вместе можно только в том случае, если они похожи между собой, то есть если у них есть похожие параметры.
К примеру, мы хотим потестить какое-то расширение. Берем для этого 3 группы объявлений:
🐧в одной группе у нас брендовые ключи;
🐧во второй не-брендовые;
🐧в третьей и те, и другие.
Если мы действительно запустим тест на этих трех группах, то получим бредовый результат. Почему? Потому что эти группы сильно разные и по-разному «работают» на аудиторию. Это как сравнивать кислое со слоном. Вообще из разных категорий понятия, несравнимы.
Для совместного тестирования нужны похожие группы объявлений: с похожими методами таргетинга, к примеру, только те, которые таргетируются на списки ремаркетинга; или только на брендовые ключи. Это — те общие признаки, которые делают тестирование заслуживающим доверия.
Плюс для теста можно создавать группы объявлений с жестким делением по ключам. Это помогает получить больше крутых инсайтов. К примеру:
Фирма по перепланировке и ремонту сегментирует ключи для поисковых кампаний так:
🐧брендовые ключи;
🐧запросы на дорогой ремонт (как капитальный ремонт квартиры под ключ);
🐧запросы на доступный ремонт (как перепланировка ванной комнаты);
🐧запросы на дешевый ремонт (как косметический ремонт одной комнаты);
🐧услуги (установка откосов, разводка электричества) и так далее.
После мультитеста фирма проанализировала результаты и поняла: пользователи, которые хотят дорогие услуги, всегда запрашивают предварительную оценку стоимости и индивидуальный осмотр объекта. Для этого на этапе «приценивания» они звонят менеджеру.
Но! Не все пользователи хотят звонить менеджеру сами. Всегда есть те, кто хочет оставить заявку на обратный звонок или получить консультацию по переписке.
Как только у фирмы появились эти данные, РРС-специалист понял, как улучшить рекламу. Как он использовал данные:
Пользователю нужен телефонный звонок до заказа? Значит, в объявлении нужно добавить расширение с номером, а на сайте сделать форму заказа обратного звонка + указать номера телефонов на видном месте.
Нужна смета, а мастер выезжает на объект для предварительной оценки бесплатно? Это важно указать в описании объявления, чтобы люди были в курсе такой ценной выгоды.
И так далее.
2. Выбор гипотезы для теста
Настройка мульт-теста легка, если вы точно понимаете, какую гипотезу проверяете. Основная фишка тестов — не мешать котлеты с мухами и тестировать все планомерно.
К примеру, есть такие варианты СТА:
Позвоните нам сегодня
Позвоните нам сегодня!
И это действительно разные варианты, тестировать нужно оба.
Помните про принцип «копать глубже».
Если вы тестите геоданные в объявлениях, не торопитесь планомерно проверять все 100500 вариантов указания местоположений, как:
Сантехник в Киеве
Сантехник в Одессе
Сантехник в Днепре
Местные услуги сантехника
В этом случае тестить нужно только два варианта:
Сантехник в
Местные услуги сантехника
Вот такой тест покажет, как указание геоданных влияет на взаимодействие пользователя с поисковым объявлением.
Тот же принцип можно использовать, чтобы проверить, что работает лучше — привлечение ценой или скидками:
Сэкономьте <x%> с <товар>
<товары> от <цена>
Сформулировали гипотезу, которую будете проверять? Окей, теперь создаем минимум два объявления в каждой группе, включенной в мультитест. Если трафика много и данные собираются быстро и помногу, за один раз можно тестировать сразу и 3-4 идеи. Только четко разберитесь с критериями оценки и с тем, как переменные данные коррелируют друг с другом.
3. Организация групп объявлений
Если вы запускаете мультитест, у вас будет 100500 разных типов данных. В них важно не запутаться, а потом правильно свести их из нескольких групп в одну статистику.
Чтобы организовать группы, которые используются в одном тесте, помечайте их ярлыками. К примеру, если вы проверяете гипотезу про гео-данные на двух группах, то пометьте одну группу ярлыком «гео», а вторую «без гео». Самое лучшее решение — самое простое, правда?
Тот же принцип можно использовать для тестирования групп объявлений с изображениями или без, с определенными расширениями и без них и так далее. Во всех таких случаях ярлыки — это самый простой способ сводить данные в единую статистику, чтобы потом оценить результаты.
Для сведения результатов из разных групп объявлений в одну общую статистику можно использовать сводные таблицы Excel или специальные сервисы для РРС, типа англоязычного Adalysis.com или русскоязычного аналога HTraffic.
4. Сбор данных
Когда группы объявлений для теста созданы и организованы, веселье только начинается. Потому что теперь нужно сделать так, чтобы у вас собирались только достоверные данные. Для этого важно:
- Определить, как собирать данные по всем тестируемым объявлениям. Для этого нужна ротация объявлений.
- Определить, какое минимальное количество данных нужно для оценки.
- Определить, какого максимального количества данных достаточно для оценки.
А если кратко: надо узнать, как собирать инфу и сколько инфы нужно.
Начнем с «как».
Ротация объявлений
Представим: вы тестите эффективность разных заголовков. У вас есть несколько групп и несколько объявлений с разными заголовками. Чтобы сравнивать эффективность вариантов, нужно, чтобы аудитория видела каждый из них. Как это сделать? Правильно, с помощью ротации.
Ротация объявлений — это настройка на уровне кампании в Ads для чередования нескольких объявлений из одной группы.
По умолчанию используется «Оптимизация для кликов» — так чаще демонстрируются объявления с самым высоким CTR и этого достаточно в обычной работе. Но для мультитеста советуем вариант «Чередовать без ограничения времени», чтобы каждое объявление получало плюс-минус одинаковый охват.
Если хотите использовать другие варианты, учтите, что для достижения статистической значимости понадобится больше времени, т.к. некоторые объявления будут отображаться чаще других.
С «как собирать» разобрались, теперь посмотрим, сколько собирать.
Минимальный необходимый массив данных
Под выражением «минимальный необходимый массив данных» мы подразумеваем тот абсолютный минимум информации, который вы должны иметь, прежде чем изучать результаты тестирования и выбирать победителя.
Предположим, что вы тестируете 3 варианта чего-то:
🐧вариант А получил 1 клик, 40 показов;
🐧вариант Б получил 5 кликов, 33 показов;
🐧вариант В получил 0 кликов, 24 показов.
Всего 97 показов объявления и 6 кликов по ним. С чисто математической точки зрения, вариант Б достиг 97% уровня доверия в том, что это объявление будет иметь самый высокий CTR среди всех трех объявлений.
Но риск в том, что все эти данные могли быть собраны в течение 1 часа во вторник вечером, потому что показов очень мало. А значит, статистической достоверности у них не будет: активность пользователей в разные дни недели и в разное время суток отличается. Ориентироваться на данные за один день нельзя.
Чтобы не попадать в такие ситуации, нужно установить планку минимального уровня данных. А когда в объявлениях этот минимум данных будет накоплен, придет время изучить факторы доверия.
Что нужно, чтобы определить необходимый минимум данных:
№1. Уточнить метрики тестирования: одни показатели — это буквально категория «маст-юз» при определении минимально допустимого массива данных, другие показатели вторичны и могут не приниматься во внимание.
Показатель | Показы | Клики | Конверсии | Временные рамки |
CTR | Важно использовать | Вариативно | Важно использовать | |
CPA | Важно использовать | Важно использовать | ||
Коэффициент конверсий | Вариативно | Важно использовать | Важно использовать | |
CPI | Важно использовать | Вариативно | Важно использовать | |
ROAS | Важно использовать | Важно использовать | ||
RPI | Важно использовать | Важно использовать |
№2. Задать временные рамки тестирования, то есть поставить таймфрейм. Любые новые гипотезы проверяйте минимум неделю, чтобы получить более-менее достоверные результаты про изменение поведения пользователей. Впрочем, неделя — это минимум, а мы рекомендуем таймфреймы на месяц-два, чтобы повысить уровень доверия к тесту.
№3. Выбрать фактические цифры минимально необходимого количества данных. Ниже — таблица-шпаргалка со средними значениями, которые можно использовать. Но это именно приблизительный ориентир, потому что некоторые аккаунты получают миллионы показов в неделю, а другие такое количество и за полгода не соберут. Поэтому все индивидуально.
Старайтесь только не сильно занижать планку, ведь чем выше цифры «минимума», тем выше шансы на достоверные результаты. А если ваш аккаунт за неделю получает много данных, то и вовсе определяйте свои фактически показатели в частном порядке.
Показы | Клики | Конверсии | |
Низкий трафик | 350 | 300 | 7 |
Средний трафик | 750 | 500 | 13 |
Высокий трафик | 1000 | 1000 | 20 |
Хорошо известные брендовые запросы | 100 000 | 10 000 | 100-1000 |
Когда с минимальными данными разобрались, можно переходить к максимальным.
Максимум данных, нужный для принятия решения
Бывает, запускаешь тест, ждешь неделю, месяц, второй, но даже через три месяца на руках все равно меньше 90% уверенности в том, что одно объявление реально лучше или хуже другого. Чтобы тест не затянулся на вечность, задайте «потолок», т.е. количество данных, после сбора которого тест будет завершен, независимо от результатов.
Максимум данных можно задать двумя способами:
- тест работает 3 месяца;
- данные по тесту = х10 минимальных данных.
Первый вариант легче в работе: запустили тест, спустя 3 месяца получили результат. Второй вариант сложнее отслеживать, но научно он более логичен и правилен с нашей точки зрения.
5. Оценивание данных
Тест — это когда у вас есть:
- гипотеза: идея, которую вы хотите проверить;
- подопытное нечто: в нашем случае объявления;
- параметры, которые докажут, правдива ваша гипотеза или нет.
Последний пункт — это критерии оценивания.
Критерии оценивания
Чтобы выбрать объявление-победителя, можно использовать разные параметры:
- CTR: click through rate, кликабельность.
- Conversion rate, коэффициент конверсии.
- CPA: cost per acquisition, стоимость конверсии.
- ROAS: return on ad spend, возврат рекламных инвестиций.
- CPI: conversion per impression, соотношение числа конверсий к показам.
- RPI: revenue per impression, соотношение дохода и показов.
Метрики отображают эффективность вариантов и помогают определиться с победителем. Давайте разберемся в них.
1. CTR.
Плюсы: вы получите наибольшее количество кликов, доступных объявлениям. Плюс чем выше ваш CTR, тем выше показатель качества, т.е. если вы будете использовать только объявления с лучшим CTR, то показатель качества тоже будет расти.
Минусы: CTR — это показатель количества кликов, а не их качества. А ведь нам же не нужен клик ради клика: мы рассчитываем, что клики качественные, а значит, они будут превращаться в конверсии. Согласитесь, даже если вы не следите за конверсиями напрямую, вы все равно хотите качественный трафик, а не пользователей-отказников.
Так что, если заботитесь о качестве посещений, сразу используйте метрики, основанные на показателе конверсии, а не на показателях количества кликов.
2. Conversion Rate.
Плюсы: объявление устанавливает определенные ожидания пользователя насчет того, что он найдет на целевой странице. Когда ваши объявления задают правильные ожидания, коэффициент конверсии обычно увеличивается. Поэтому если ваш приоритет — получать конверсию с каждого посещения, то Conversion Rate — отличная метрика для этого.
Минусы: коэффициент конверсии не подходит для всех возможных конверсионных действий. Эта метрика учитывает только отношение пользователей, которые сделали конверсию на посадочной странице. Но не учитывает количество конверсий, которые произошли в целом: кто потом позвонил сам и конвертировался в клиента не через сайт и т.д. Так что это отличный критерий при тестах посадочных страниц, но для объявлений он не ахти.
3. CPA.
Плюсы: отлично подойдет в том случае, если у вас есть четкие цели, направленные на снижение цены за конверсию и увеличение продаж.
Минус: тут проблема зеркальна той, которая есть с CTR, только CPA не колышет объем трафика. Когда пользователь кликает на объявление, вы получаете данные о стоимости клика, но не о том, насколько часто реально по нему кликают.
4. ROAS.
Плюсы: использование ROAS в качестве критерия отбора обеспечит соответствие рекламных расходов получаемой прибыли.
Минусы: этот показатель тоже не учитывает охват пользователей и считает только траты — а траты происходят только тогда, когда пользователь нажимает на ваше объявление. Действия и эффективность рекламы ни до, ни после не учитываются.
5. Метрики, основанные на показах.
Основный недостаток всех показателей (кроме CTR) — они не учитывают объемы трафика; во внимание принимается только стоимость конверсии. Но ведь когда мы говорим про поисковые кампании, подразумевается, что во время каждого показа есть шанс на конверсию. Пользователь искал что-то, что вызвало показ рекламы — значит, потенциально он сам заинтересован в этой конверсии.
Поэтому, чтобы рассматривать объем (CTR) и данные конверсии (коэффициент конверсии или доход) в одном показателе для тестирования рекламы, вы можете использовать CPI (конверсия за показ) или RPI (доход за показ) в качестве основных показателей тестирования и критериев отбора объявлений-победителей.
Эти показатели легко определить: просто делите ваши конверсии (или полученный доход) на количество показов. Чем выше ваш CPI или RPI, тем больше денег вы получаете каждый раз, когда объявление показывается в поиске. Как правило, это лучшие критерии отбора.
При этом, как вы сами понимаете, можно выбирать победителя, используя один критерий. А можно использовать несколько. Давайте поговорим об этом детальнее.
Использование двух критериев для оценивания
Если показатель оценивания основан на числе показов, то он не учитывает любые жесткие ограничения РРС-рекламы, к примеру, как если вам нужно достигнуть определенной цены за конверсию или выполнить какой-то норматив по ROAS.
Это — существенный недостаток, но его можно исправить двухступенчатым оцениванием:
Шаг 1: используйте ROAS или CPA в качестве «фильтрующих» метрик.
Шаг 2: оценивайте CPI или RPI для выбора объявления-победителя.
6. Проверка статистической значимости и уровня доверия
Тест запустили, информацию собрали, критерии оценки выбрали — но кто докажет, что результаты тестирования будут достоверными? А вот уровень доверия и докажет.
Уровень доверия — это процентная вероятность того, что результат достоверный и что он обусловлен объяснимыми факторами, а не вызван случайностью.
Уровень доверия обеспечивает статистическую значимость.
К примеру, у нас есть тестовое объявление. Его уровень доверия — 80%. Это, в общем-то, неплохо, но оставляет целых 20% шансов того, что успех этого объявления был вызван не нашими действиями, а случайностью. Соответственно, если мы признаем проверяемую гипотезу доказанной и дальше будем использовать ее как правило, то рискуем нарваться на неприятности.
Чтобы такого не было, перед принятием решения во время тестирования важно убедиться, что уровень доверия 90% и выше.
Как и где определить статистическую значимость:
- Сервис http://htraffic.ru/.
- Плагин Excel, к примеру, Analysis ToolPak.
В любом случае не торопитесь принимать решения при уровне доверия ниже 90% — это сильно рискованно.
Небольшая заметочка в помощь:
Параметр | Минимально необходимый уровень доверия |
НЧ запросы | 90% |
СЧ запросы | 90-95% |
Запросы по сторонним брендам, которые вы продаете | 90% для небольших брендов, 95% для крупных брендов |
ВЧ запросы | 95-99% |
Ваши брендовые запросы | 95 % для неизвестного бренда, 99% для хорошо известного бренда. |
Но с факторами, которые определяют уровень доверия, есть небольшая коварность. Предполагается, что та информация, которая у вас уже есть, будет так или иначе похожа на ту, которую вы будете получать дальше. То есть ожидается минимум отклонений между данными. В чем тут соль? Так бывает не всегда.
Например, результаты поисковых РК в понедельник утром, когда люди начинают работать, сильно отличается от результатов в субботу днем, когда они отдыхают дома. Это грандиозный разброс, на основе которого делать какую-то статистику невозможно — она будет недостоверной.
Мораль? Прежде чем шагать дальше, убедитесь, что ваши данные в одном массиве сравнения соответствуют минимуму. Мы об этом уже говорили выше.
7. Принятие решения
Когда все уже готово, приходит время подбивать итоги. А значит — выбирать победителя и делать выводы.
Если тестируете отдельные группы объявлений, у вас два варианта:
- приостановить проигравший вариант;
- (необязательно) создать новое рекламное объявление с вариантом-победителем.
Для мультитеста вариантов больше:
- приостановить проигравший вариант во всех группах объявлений;
- (необязательно) заменить проигравшие варианты новыми для нового теста;
- (необязательно) создать новый мультитест для другой гипотезы в тех же группах объявлений, которые тестировались раньше;
- собрать другие инсайты.
Последний пункт в перечне очень важен.
Подумайте: что вы узнали из мультитеста, кроме подтверждения или опровержения своей гипотезы? Вот эту самую информацию можно использовать шире: для улучшения посадочной страницы, других маркетинговых материалов или корректировки РРС-стратегии в целом.
К примеру, если вы тестировали СТА и получили явного лидера, этот вариант можно использовать теперь не только в поисковых объявлениях, но и в письмах имейл-рассылки, и на посадочной странице, т.к. стало понятно, что именно на этот вариант люди реагируют лучше всего.
Если тестировали заголовки, лучший вариант можно использовать в темах имейл-рассылок и в тайтлах на страницах сайта для увеличения органического CTR.
Точно то же можно делать с преимуществами, СТА, описаниями, выгодами, изображениями и всеми другими элементами РРС, которые поддаются тестированию. Обращайте внимание на эти идеи, делитесь ими со своей командой и ищите дополнительные способы, как еще использовать эту информацию.
Вот и все на сегодня!
