3718
Привіт! Ми — Penguin-team, агентство контекстної реклами, а це — наш блог про бізнес, маркетинг та РРС. Щомісяця ми випускаємо гайди, статті та інструкції про те, як працювати з eCommerce, брендувати, налаштовувати Google Рекламу та інші канали трафіку.
Наш блог читають маркетологи, SEM-фахівці та підприємці: його рекомендують на SEMConf та інших конференціях.
Ще більше унікальних матеріалів — в розсилці 👇 Підписуйтесь!
Отримувати ще більше унікальних матеріалів 👉🏻
Дякуємо за підписку!
3718
Гайд Google Optimize. Частина 3: Аналіз результатів тестування та вибір кращого варіанту
14.12.2021
15 хвилин
easy
- Частина 1: Основне про сервіс та роботу з ним
- Частина 2: Поетапне створення тестів для РРСшників
- Частина 3: Аналіз результатів тестів (ви тут)
- Частина 4: Поради щодо роботи з Google Optimize
Google Optimize дозволяє зрозуміти, яка форма збільшить кількість лідів, який колір кнопки «клікабельніший», як змінюється скролінг при зміні меню в хедері. Однак, чи можна сліпо довіряти отриманим даним? Чи дають результати стовідсоткову гарантію? Чи завжди варіант, що переміг, — найкращий варіант?
Читайте у статті агентства контекстної реклами Penguin-team, як грамотно аналізувати результати, на що звертати увагу і що потім з усім цим робити.
Експеримент у Google Optimize заснований на байєсівському методі. Для отримання результату не потрібна мінімальна вибірка. Тривалість тесту при цьому не менше 14 днів. А якщо тестування запускається безстроково, його можна зупиняти, коли можливість переваги однієї з версій складе більше 95%. Проте ми рекомендуємо орієнтуватися не на дні/тижні/місяці або показник ймовірності, а на кількість користувачів, що брали участь у експерименті! Порахувати охоплення статистично достовірного результату допоможе калькулятор. Тест пройде і без цього, але підсумкові значення можуть бути некоректними.
Де дивитись звіти про проведені тести – результати експерименту в Google Optimize
Результати експерименту видно в Google Optimize та Google Analytics.
Важливо! Результати тестування в Google Оптимайзі та Аналітиці можуть відрізнятися:
- показники спочатку обробляються у Google Analytics, а потім передаються до Google Optimize. Можлива затримка – до 12 годин;
- коли експеримент завершується вручну, дані, отримані з останніх змін, не передаються в Google Optimize, але доступні в Analytics;
- розрахунки коефіцієнта конверсії у двох сервісах відрізняються. У Оптимайзі показується ймовірний діапазон змодельованих коефіцієнтів з урахуванням статистики, тобто передбачається досягнення тієї чи іншої результату. В Аналітиці використовуються емпіричні розрахунки, засновані на кількісних показниках певної вибірки без урахування можливих відхилень.
У Google Optimize дані тестування доступні як під час проведення, так і після завершення експерименту. Звіти формуються у відповідній вкладці:
У таблицях та графіках відображаються сеанси, що брали участь у тестуванні, їх графік у кожній версії сторінки, дата запуску та зупинення експерименту.
Результати Google Analytics доступні на вкладці «Поведінка» → «Експерименти». При натисканні на потрібний експеримент відкривається інформація про кількість сеансів і конверсій, а також коефіцієнт конверсій для певної мети.
Google рекомендує спиратися на звіти Optimize. А Penguin-team рекомендуємо зріти в корінь — про це нижче.
Як інтерпретувати результати тестування в Google Optimize
У звітах Google Optimize відображається статус тесту. Він допоможе зробити попередні висновки про результати, а також вирішити, продовжувати або припиняти тестування:
- в очікуванні даних – показники обробляються та передаються з Аналітики. Зачекайте 12-24 години;
- немає експериментів – швидше за все, є помилки в налаштуваннях або виставлені занадто жорсткі рамки при виборі цілей та аудиторії. Наприклад, встановлений зв’язок не з тим обліковим записом Аналітики. Перегляньте налаштування правила націлення: можливо, ви вказали «рівно», і це значно звузило аудиторію. Перевірте також, чи правильно настроїли аудиторію, і переконайтеся, що це ваша аудиторія;
- недостатньо сеансів – мало трафіку для відображення результату. Залишається чекати, поки вибірка досягне обсягу, достатнього для аналізу;
- лідер не знайдено – однакове досягнення цілей як при використанні оригіналу, так і при оновленій версії. Подумайте над новими гіпотезами та запускайте інший тест, а поточний зупиняйте – результат суттєво не зміниться;
- лідер – оригінал, тобто тестовані варіанти спрацювали гірше. Впроваджувати зміни не варто;
- кілька лідерів – пара або більше варіантів досягають цілей краще за інші і показують + – однаковий результат. Рекомендується об’єднати або запустити новий тест на порівняння лідерів.
Перейдемо до трактування докладних даних з кожної мети.
Перший рядок у звітах – вихідний варіант. З ним порівнюються всі значення оновлених варіантів. У звітах відображено 4 стовпці – показники ймовірності успіху:
Розглянемо з прикладу:
Ми запустили тестування банерів для реєстрації в сервісі Hub of ppc tools від агентства контекстної реклами Penguin-team.
Ціль: збільшити конверсію на 10 % (збільшити кількість реєстрацій).
Гіпотеза: якщо змінити зовнішній вигляд банера, збільшиться кількість взаємодій та реєстрацій у сервісі.
Тестуємо 3 варіанти банерів:
- вказали переваги нашого продукту (1 та 2 варіант);
- додали різний заклик до дії (1 та 2 варіант);
- прибрали опис продукту та зробили яскравий банер (3 варіант).
Потрібно зрозуміти, який варіант є найбільш клікабельним і приносить більше конверсій.
Експеримент проводимо на сторінці статті «Як скрипти Google Ads роблять роботу більш продуктивною і що потрібно для їх впровадження».
Експеримент був ще у процесі. У нас поки що мало вибірки для проведення аналізу, порівняння варіантів та прийняття рішення. У нашому випадку варто почекати закінчення тестів. Однак, звіти вже доступні, і ми використовуємо їх для візуалізації, куди і як дивитися на дані:
Отже:
- значення стовпця «Спрогнозоване покращення» говорять про необхідність продовжувати тестування. Діапазон -98 – 600+% занадто великий для остаточних висновків. Статистично значущим є розбіг до 30-40% за позитивних значень;
- дані «Можливість переваги» показують, що на даний момент оригінал перемагає: можливість випередити всі інші варіанти – 33%;
- при цьому «Імовірність поліпшення порівняно з вихідними даними» краща у першого та третього варіанта – 39 %;
- а при аналізі спрогнозованого коефіцієнта конверсії відомо, що зараз конверсій немає. Однак передбачувана конверсія варіантів – на рівні 34-37%.
За таким принципом проводять аналіз результатів за статистично значущої вибірки.
Який варіант вибрати – результати експерименту в Google Optimize
За логікою вибирати варто той варіант, який Google Оптимайз визначить як лідер.
Проте не все так просто. Трактування та вибір змін на сайті залежить від сфери діяльності.
Якщо у вас є ecommerce. Як правило, кінцева мета оптимізації для ecommerce – підвищення конверсії та збільшення доходу. І тут важливо розуміти, що у версії, що перемогла, можуть бути підводні камені:
- конверсія збільшилася, але за рахунок продажу дешевших товарів, середній чек зменшився;
- конверсія збільшилася, продаж дешевих товарів збільшився, а дорогих — зменшився, середній чек залишився на тому ж рівні;
- конверсія знизилася, продаж дорогих товарів збільшився, середній чек зменшився;
- конверсія знизилася, продаж дорогих товарів збільшився, середній чек збільшився.
Можуть бути інші варіанти міксів.
Що робити, на якому варіанті зупинитися? Щоб правильно вибрати варіант оптимізації сайту та збільшити не тільки конверсію, але й дохід, який вона має приносити, спирайтеся на бізнес метрики, ROI, прибуток:
- Переконайтеся, що вибірка була статистично достовірною: тест набрав потрібну кількість трафіку. Про це свідчить статус у звіті. Крім того, рекомендуємо звірятися з попередніми розрахунками за допомогою статистичного калькулятора.
- Аналізуйте фінансові результати. Загальну суму продажів, середній чек за кожним тестованим варіантом та кількість транзакцій. У Google Analytics створіть кастомний звіт: Меню → Спеціальні звіти → Мої звіти → заповніть форму, вибравши параметр ID або Назва експерименту та додавши потрібні показники. Наприклад, кількість користувачів, дохід на користувача, коефіцієнт конверсії, цінність мети за сеанс, транзакції, дохід та інші значущі вам параметри, які допоможуть провести всебічний аналіз.
Порівняйте дані зі створеного вами звіту в Google Analytics та звіту в Google Optimize. Переможений варіант виграє і за фінансовими показниками?
Впроваджуйте зміни, які приносять більше прибутку та збільшують середній чек. При цьому конверсія може бути нижчою за очікувану або нижче, ніж у контрольному варіанті. Проте потенційно це ефективніше, з погляду, кінцевих цілей бізнесу.
Після застосування відстежуйте зміни. А за потреби проведіть додаткові тести.
Якщо у вас немає ecommerce, буде простіше. Але не багато. Вибирайте версію лідера, яку визначив Google Optimize. Впроваджуйте зміни та регулярно відстежуйте в Аналітиці поведінку користувачів: чи досягаються цілі.
Щоб бачити динаміку, радимо зафіксувати основні показники до оптимізації. А через пару тижнів/місяць порівняти з новими даними. Якщо спостерігаєте позитивні зміни, можна ненадовго видихнути. Якщо ситуація не змінюється або стає гіршою — варто подумати, чому так і провести нове тестування.
Резюмуючи результати експерименту в Google Optimize
Не покладайтеся на джерело даних і поглиблюйте аналіз. Все потрібно перевіряти і за необхідності знову тестувати. Особливо актуально при різношерстої цільової аудиторії, багатомовному сайті, що залежить від розташування Юпітера конверсії.
Найправильніше – ставитись до результатів тестів критично. Аналізуйте, чому вони такі: від чого може залежати різниця конверсій, чому відмінна ідея, що перемогла у тестах, насправді не спрацювала, як можна перевірити результати.
Та й основне правило залишається незмінним. Оптимізація — це не разова акція, це про постійну роботу, про спосіб життя, якщо хочете.
Loading...
