Урок 3 | Руководство по тестированию | 7-дневный курс по Ads от Penguin-team

Объявления — это единственный элемент в PPC, который видит поисковик и пользователь. Остальные настройки просто говорят, когда их показывать. 

Если тестировать объявления правильно, можно повысить количество конверсий, снизить затраты на них, увеличить показатель качества и получить много других плюшек. Что значит «правильно» — в нашем сегодняшнем письме. 

Тестирование одной группы объявлений

В одной группе создается 2 и больше объявлений, а по итогам выбирается объявление-победитель с лучшими результатами. 

Подойдет, если нужно выбрать лучший месседж пользователю при одном способе таргетинга (ключи, списки ремаркетинга, интересы, темы и т. д). Как правило, это лучший метод тестирования:

🐧 брендовых запросов;

🐧 самых эффективных ключевых слов;

🐧непосредственно способов таргетинга, при которых собирается большое количество данных.

Не подойдет, если:

🐧 у группы объявлений маленький охват (сложно добиться статистически значимых результатов); 

🐧 тест-группа очень отличается от остальных (тогда результаты будут применимы только внутри одной группы; а остальные по мотивам не оптимизируешь).

В этом случае, подойдет… 

Мультитестирование

(тестирование нескольких групп объявлений)

Мультитест позволяет проверить заголовок, описание и другие параметры сразу в нескольких группах объявлений, а затем объединить полученные данные.

Несколько основных преимуществ:

🐧 в процессе собирается больше данных для оценки;

🐧 появляются глобальные инсайты;

🐧 эффективность выше, ведь полученные результаты применимы ко всем группам-участницам теста.

Что можно так тестировать? Вот пара идей для вашего следующего теста:

1. Увеличивает ли CTR использование геоданных.
2. Что дает лучший показатель переходов/конверсий из Поиска: предложение скидки или бесплатной доставки в объявлении.
3. Как расширения влияют на эффективность РРС (на показатель CTR, конверсии и т. д.).
4. Что работает лучше в заголовке: выгода, СТА или что-то другое.
5. Что работает лучше в описании: акцент на широком ассортименте или на поддержке клиентов.
6. Как влияет использование бренда в объявлении на его эффективность. Что если добавлять в заголовок название бренда? А если нет? А если добавить его в описание?

Каждый вопрос — гипотеза. Какую из них вы пойдете проверять, когда дочитаете письмо? 🙂 

Как проводить тестирование

Тестирование включает 7 шагов:

1. Выбор групп объявлений, которые будут участвовать в тесте.
2. Выбор гипотезы, которая тестируется.
3. Организация групп объявлений.
4. Сбор данных.
5. Оценивание данных.
6. Проверка статистической значимости.
7. Принятие решения.

Как выбрать группу для теста

Чтобы тестировать вместе разные группы, важно, чтобы они были сравнимы. Кислое и сладкое сравнимо. Желтое и пингвин — нет. 

К примеру, мы хотим потестить какое-то расширение и берем 3 группы:

🐧 в одной брендовые ключи;

🐧 во второй небрендовые;

🐧 в третьей и те, и другие.

Результаты такого теста будут недостоверными, потому что у тестовых групп отличаются исходные условия. 

Используйте для мультитеста группы с похожими методами таргетинга, к примеру, только те, которые таргетируются на списки ремаркетинга. Или только на брендовые ключи. Это — те общие признаки, которые делают тестирование заслуживающим доверия.

Плюс для теста можно создавать группы объявлений с жестким делением по ключам. Это помогает получить больше крутых инсайтов.

К примеру. Фирма по перепланировке и ремонту жилья сегментирует ключи для поисковых кампаний так:

🐧 брендовые ключи;

🐧 запросы на дорогой ремонт (как капитальный ремонт квартиры под ключ);

🐧запросы на доступный ремонт (как перепланировка ванной комнаты);

🐧запросы на дешевый ремонт (как косметический ремонт одной комнаты);

🐧 услуги (установка откосов, разводка электричества) и т. д.

После мультитеста фирма проанализировала результаты и поняла, что пользователи, которые хотят дорогие услуги, всегда запрашивают предварительную оценку стоимости и индивидуальный осмотр объекта. Для этого на этапе «приценивания» они звонят менеджеру.

Но! Не все пользователи хотят звонить менеджеру сами. Всегда есть те, кто хочет оставить заявку на обратный звонок или получить консультацию по переписке.

Как только у фирмы появились эти данные, РРС-специалист понял, как улучшить рекламу. Как он использовал данные:

Пользователю нужен телефонный звонок до заказа? Значит, в объявлении нужно добавить расширение с номером, а на сайте сделать форму заказа обратного звонка + указать номера телефонов на видном месте. Нужна смета, а мастер выезжает на объект для предварительной оценки бесплатно? Это важно указать в описании объявления, чтобы люди были в курсе такой ценной выгоды. И так далее.

После теста у вас на руках будет масса данных. Чтобы в них не запутаться, помечайте группы ярлыками. Проверяете гипотезу по геоданным? Пометьте одну группу ярлыком «гео», а вторую «без гео». Ярлыки — простой способ сводить данные в единую статистику для оценки результатов.

Как выбрать гипотезу

Основная фишка тестов — не мешать котлеты с мухами и тестировать все планомерно.

К примеру, есть такие варианты СТА:

Позвоните нам сегодня

Позвоните нам сегодня!

И это действительно разные варианты, тестировать нужно оба.

Помните про принцип «копать глубже».

Если вы тестите геоданные в объявлениях, не торопитесь постепенно проверять все 100500 вариантов указания местоположений, как:

Сантехник в Киеве

Сантехник в Одессе

Сантехник в Днепре

Местные услуги сантехника.

В этом случае тестить нужно только два варианта:

Сантехник в 

Местные услуги сантехника.

Вот такой тест покажет, как указание геоданных влияет на взаимодействие пользователя с поисковым объявлением.

Тот же принцип можно использовать, чтобы проверить, что работает лучше — привлечение ценой или скидками:

Сэкономьте до ХХ% с <товар>

<товары> от <цена>

Сформулировали гипотезу? Создайте минимум два объявления в каждой группе мультитеста. Если трафика много, можно тестировать 3-4 идеи за раз. Только разберитесь с критериями оценки и с тем, как переменные данные коррелируют друг с другом.

Как собирать данные

После выбора гипотезы и группы все только начинается, ведь надо узнать, как собирать инфу и сколько ее нужно.

Начнем с «как».

Ротация объявлений

Если в вашей группе несколько объявлений, системе надо выбрать, какое из них показывать. Ротация — это настройка на уровне кампаний, которая определяет, КАК их чередовать.

По умолчанию используется «Оптимизация для кликов»: чаще демонстрируются объявления с самым высоким CTR. Обычно этого достаточно, но для мультитеста мы советуем вариант «Чередовать без ограничения времени», чтобы каждое объявление получало плюс-минус одинаковый охват.

С «как собирать» разобрались, теперь посмотрим, «сколько собирать».

Минимально необходимый массив данных

Это тот абсолютный минимум информации, который нужен, чтобы закончить тест и получить достоверные результаты. Но давайте лучше на примере.

Мы тестируем 3 варианта заголовков:

🐧 вариант А получил 1 клик, 40 показов;

🐧 вариант Б получил 5 кликов, 33 показов;

🐧 вариант В получил 0 кликов, 24 показов.

Всего 97 показов и 6 кликов. С чисто математической точки зрения, вариант Б достиг 97 % уровня доверия (это объявление будет иметь самый высокий CTR). НО! Риск в том, что все эти данные могли быть собраны в течение 1 часа во вторник вечером, потому что показов очень мало. А значит, статистической достоверности у них не будет: активность пользователей в разные дни недели и время отличается. 

Если ориентироваться на показы за день, результаты будут недостоверными. А значит, есть риск внедрить неэффективное решение.

Чтобы определить необходимый минимум данных, нужно:

1. Выбрать метрики: одни учитывать обязательно, другие вариативны. 

2. Задать время теста: минимум неделя, мы рекомендуем месяц. 

3. Установить минимальную планку: сколько данных нужно, чтобы закончить тест. Чем выше цифры «минимума», тем выше шансы на достоверные результаты. 

Шпаргалка со средними значениями, на которые можно ориентироваться 

Максимально необходимый набор данных

Бывает, запускаешь тест, ждешь месяц, два, -цать, а уверенности в результатах нет. Чтобы не ждать вечно, задайте «потолок»: сколько нужно данных для завершения теста, вне зависимости от результатов. Есть 2 способа:

🐧 тест работает [х] месяцев — проще;

🐧 тест работает, пока не соберем х10 минимальных данных — качественнее.