Урок 3 | Керівництво по тестуванню | 7-денний курс по Ads від Penguin-team

Оголошення — це єдиний елемент в PPC, який бачить система і користувач. Інші налаштування просто говорять, коли їх показувати.

Якщо тестувати оголошення правильно, можна підвищити кількість конверсій, знизити витрати на них, збільшити показник якості та отримати багато інших плюшок. Що значить «правильно» — в нашому сьогоднішньому листі.

Тестування однієї групи оголошень

В одній групі створюється 2 і більше оголошень, а за підсумками вибирається оголошення-переможець з кращими результатами.

Підійде, якщо потрібно вибрати кращий месседж користувачеві при одному способі орієнтування (ключі, списки ремаркетингу, інтереси, теми і т. д). Як правило, це кращий метод тестування:

🐧 брендових запитів;

🐧 найефективніших ключових слів;

🐧безпосредньо способів орієнтування, при яких збирається велика кількість даних.

Не підійде, якщо:

🐧 у групи оголошень маленьке охоплення (складно домогтися статистично значущих результатів);

🐧 тест-група дуже відрізняється від інших (тоді результати будуть застосовні тільки всередині однієї групи; а решту за мотивами не оптимізуешь).

В цьому випадку, підійде …

Мультитестування

(тестування декількох груп оголошень)

Мультитест дозволяє перевірити заголовок, опис і інші параметри відразу в декількох групах оголошень, а потім об’єднати отримані дані.

Кілька основних переваг:

🐧 в процесі збирається більше даних для оцінки;

🐧 з’являються глобальні інсайти;

🐧 ефективність вище, адже отримані результати застосовні до всіх груп-учасниць тесту.

Що можна так тестувати? Ось пара ідей для вашого наступного тесту:

1. Чи збільшує CTR використання геоданих.
2. Що дає кращий показник переходів / конверсій в програмі Пошук: пропозиція знижки або безкоштовної доставки в оголошенні.
3. Як розширення впливають на ефективність РРС (на показник CTR, конверсії і т. п.).
4. Що працює краще в заголовку: вигода, СТА або щось інше.
5. Що працює краще в описі: акцент на широкому асортименті або на підтримці клієнтів.
6. Як впливає використання бренду в оголошенні на його ефективність.
7. Що якщо додавати в заголовок назву бренда? А якщо ні? А якщо додати його в опис?

Кожне питання — гіпотеза. Яку з них ви підете перевіряти, коли дочитаєте листа? 🙂

Як проводити тестування

Тестування включає 7 кроків:

1. Вибір груп оголошень, які братимуть участь в тесті.
2. Вибір гіпотези, яка тестується.
3. Організація груп оголошень.
4. Збір даних.
5. Оцінювання даних.
6. Перевірка статистичної значущості.
7. Прийняття рішення.

Як вибрати групу для тесту

Щоб тестувати разом різні групи, важливо, щоб вони були порівнянні. Кисле і солодке порівнюється. Жовте і пінгвін — ні.

Наприклад, ми хочемо потестити якесь розширення і беремо 3 групи:

🐧 в одній брендові ключі;

🐧 в другій небрендові;

🐧 в третій і ті, і інші.

Результати такого тесту будуть недостовірними, тому що у тестових груп відрізняються вхідні умови.

Використовуйте для мультитесту групи зі схожими методами орієнтування, наприклад, тільки ті, які таргетуються на списки ремаркетингу. Або тільки на брендові ключі. Це — ті загальні ознаки, які роблять тестування достовірним.

Плюс для тесту можна створювати групи оголошень з жорстким поділом по ключам. Це допомагає отримати більше крутих інсайтів.

Наприклад. Фірма з перепланування і ремонту житла сегментує ключі для пошукових кампаній так:

🐧 брендові ключі;

🐧 запити на дорогий ремонт (як капітальний ремонт квартири під ключ);

🐧 запити на доступний ремонт (як перепланування ванної кімнати);

🐧 запити на дешевий ремонт (як косметичний ремонт однієї кімнати);

🐧 послуги (встановлення відкосів, розводка електрики) і т. п.

Після мультитесту фірма проаналізувала результати і зрозуміла, що користувачі, які хочуть дорогі послуги, завжди запитують попередню оцінку вартості та індивідуальний огляд об’єкта. Для цього на етапі «прицінювання» вони дзвонять менеджеру.

Але! Не всі користувачі хочуть дзвонити менеджеру самі. Завжди є ті, хто хоче залишити заявку на зворотній дзвінок або отримати консультацію по листуванню.

Як тільки у фірми з’явилися ці дані, РРС-фахівець зрозумів, як поліпшити рекламу. Як він використовував дані:

Користувач повинен мати можливість телефонного дзвінку до замовлення? Значить, в оголошенні треба додати розширення з номером, а на сайті зробити форму замовлення зворотнього дзвінка + вказати номери телефонів на видному місці. Потрібен кошторис, а майстер виїжджає на об’єкт для попередньої оцінки безкоштовно? Це важливо вказати в описі оголошення, щоб люди були в курсі такої цінної вигоди. І так далі.

Після тесту у вас на руках буде маса даних. Щоб в них не заплутатися, позначайте групи ярликами. Перевіряєте гіпотезу по геоданим? Позначте одну групу ярликом «гео», а другу «без гео». Ярлики — простий спосіб зводити дані в єдину статистику для оцінки результатів.

Як вибрати гіпотезу

Основна фішка тестів — не зміщувати котлети з мухами і тестувати все планомірно.

Наприклад, є такі варіанти СТА:

Зателефонуйте нам сьогодні

Зателефонуйте нам сьогодні!

І це дійсно різні варіанти, тестувати потрібно обидва.

Пам’ятайте про принцип «копати глибше».

Якщо ви тестуєте геодані в оголошеннях, не поспішайте поступово перевіряти всі 100500 варіантів вказівки місць розташування, як:

Сантехнік в Києві

Сантехнік в Одесі

Сантехнік в Дніпрі

Місцеві послуги сантехніка.

В цьому випадку тестувати потрібно тільки два варіанти:

Сантехнік в

Місцеві послуги сантехніка.

Ось такий тест покаже, як вказівка геоданих впливає на взаємодію користувача з пошуковим оголошенням.

Той же принцип можна використовувати, щоб перевірити, що працює краще — ціна або знижки:

Заощаджуйте до ХХ% з <товар>

<Товари> від <ціна>

Сформулювали гіпотезу? Створіть мінімум два оголошення в кожній групі мультитесту. Якщо трафіку багато, можна тестувати 3-4 ідеї за раз. Тільки розберіться з критеріями оцінки і з тим, як змінні дані корелюють один з одним.

Як збирати дані

Після вибору гіпотези і групи все тільки починається, адже треба дізнатися, як збирати інфу і скільки її потрібно.

Почнемо з «як».

Ротація оголошень

Якщо у вашій групі кілька оголошень, системі треба вибрати, яке з них показувати. Ротація — це налаштування на рівні кампаній, яка визначає, ЯК їх чергувати.

За замовчуванням використовується «Оптимізація для кліків»: частіше демонструються оголошення з найвищим CTR. Зазвичай цього достатньо, але для мультитесту ми радимо варіант «Чергувати без обмеження часу», щоб кожне оголошення отримувало плюс-мінус однакове охоплення.

З «як збирати» розібралися, тепер подивимося, «скільки збирати».

Мінімально необхідний масив даних

Це той абсолютний мінімум інформації, який потрібен, щоб закінчити тест і отримати достовірні результати. Але давайте краще на прикладі.

Ми тестуємо 3 варіанти заголовків:

🐧 варіант А отримав 1 клік, 40 показів;

🐧 варіант Б отримав 5 кліків, 33 показів;

🐧 варіант В отримав 0 кліків, 24 показів.

Всього 97 показів і 6 кліків. З чисто математичної точки зору, варіант Б досяг 97% рівня довіри (це оголошення матиме найвищий CTR). АЛЕ! Ризик в тому, що всі ці дані могли бути зібрані протягом 1 години у вівторок ввечері, тому що показів дуже мало. А значить, статистичної достовірності у них не буде: активність користувачів в різні дні тижня і час відрізняється.

Якщо орієнтуватися на покази за день, результати будуть недостовірними. А значить, є ризик впровадити неефективне рішення.

Щоб визначити необхідний мінімум даних, потрібно:

1. Вибрати метрики: одні враховувати обов’язково, інші варіативно.

2. Встановити час тесту: мінімум тиждень, ми рекомендуємо місяць.

3. Встановити мінімальну планку: скільки даних потрібно, щоб закінчити тест. Чим вище цифри «мінімуму», тим вищі шанси на достовірні результати.

Шпаргалка з середніми значеннями, на які можна орієнтуватися

Максимально необхідний набір даних

Буває, запускаєш тест, чекаєш місяць, два, -цять, а впевненості в результатах немає. Щоб не чекати вічно, задайте «стелю»: скільки потрібно даних для завершення тесту, незалежно від результатів. Є 2 способи:

🐧 тест працює [х] місяців — простіше;

🐧 тест працює, поки не зберемо х10 мінімальних даних — якісніше.