Содержание

3718

Зміст

3718

Гайд Google Optimize. Частина 3: Аналіз результатів тестування та вибір кращого варіанту

14.12.2021

15 хвилин

easy

Оксана

Оксана

Маркетологіня, редакторка блогу

Google Optimize дозволяє зрозуміти, яка форма збільшить кількість лідів, який колір кнопки «клікабельніший», як змінюється скролінг при зміні меню в хедері. Однак, чи можна сліпо довіряти отриманим даним? Чи дають результати стовідсоткову гарантію? Чи завжди варіант, що переміг, — найкращий варіант?

Читайте у статті агентства контекстної реклами Penguin-team, як грамотно аналізувати результати, на що звертати увагу і що потім з усім цим робити.

Експеримент у Google Optimize заснований на байєсівському методі. Для отримання результату не потрібна мінімальна вибірка. Тривалість тесту при цьому не менше 14 днів. А якщо тестування запускається безстроково, його можна зупиняти, коли можливість переваги однієї з версій складе більше 95%. Проте ми рекомендуємо орієнтуватися не на дні/тижні/місяці або показник ймовірності, а на кількість користувачів, що брали участь у експерименті! Порахувати охоплення статистично достовірного результату допоможе калькулятор. Тест пройде і без цього, але підсумкові значення можуть бути некоректними.

Де дивитись звіти про проведені тести – результати експерименту в Google Optimize

Результати експерименту видно в Google Optimize та Google Analytics.

Важливо! Результати тестування в Google Оптимайзі та Аналітиці можуть відрізнятися:

  • показники спочатку обробляються у Google Analytics, а потім передаються до Google Optimize. Можлива затримка – до 12 годин;
  • коли експеримент завершується вручну, дані, отримані з останніх змін, не передаються в Google Optimize, але доступні в Analytics;
  • розрахунки коефіцієнта конверсії у двох сервісах відрізняються. У Оптимайзі показується ймовірний діапазон змодельованих коефіцієнтів з урахуванням статистики, тобто передбачається досягнення тієї чи іншої результату. В Аналітиці використовуються емпіричні розрахунки, засновані на кількісних показниках певної вибірки без урахування можливих відхилень.

У Google Optimize дані тестування доступні як під час проведення, так і після завершення експерименту. Звіти формуються у відповідній вкладці:

Звіти в Google Optimize

У таблицях та графіках відображаються сеанси, що брали участь у тестуванні, їх графік у кожній версії сторінки, дата запуску та зупинення експерименту.

Загальний вигляд звіту
Загальний вигляд звіту

Результати Google Analytics доступні на вкладці «Поведінка» → «Експерименти». При натисканні на потрібний експеримент відкривається інформація про кількість сеансів і конверсій, а також коефіцієнт конверсій для певної мети.

Google рекомендує спиратися на звіти Optimize. А Penguin-team рекомендуємо зріти в корінь — про це нижче.

Як інтерпретувати результати тестування в Google Optimize

У звітах Google Optimize відображається статус тесту. Він допоможе зробити попередні висновки про результати, а також вирішити, продовжувати або припиняти тестування:

  • в очікуванні даних – показники обробляються та передаються з Аналітики. Зачекайте 12-24 години;
  • немає експериментів – швидше за все, є помилки в налаштуваннях або виставлені занадто жорсткі рамки при виборі цілей та аудиторії. Наприклад, встановлений зв’язок не з тим обліковим записом Аналітики. Перегляньте налаштування правила націлення: можливо, ви вказали «рівно», і це значно звузило аудиторію. Перевірте також, чи правильно настроїли аудиторію, і переконайтеся, що це ваша аудиторія;
  • недостатньо сеансів – мало трафіку для відображення результату. Залишається чекати, поки вибірка досягне обсягу, достатнього для аналізу;
  • лідер не знайдено – однакове досягнення цілей як при використанні оригіналу, так і при оновленій версії. Подумайте над новими гіпотезами та запускайте інший тест, а поточний зупиняйте – результат суттєво не зміниться;
  • лідер – оригінал, тобто тестовані варіанти спрацювали гірше. Впроваджувати зміни не варто;
  • кілька лідерів – пара або більше варіантів досягають цілей краще за інші і показують + – однаковий результат. Рекомендується об’єднати або запустити новий тест на порівняння лідерів.

Перейдемо до трактування докладних даних з кожної мети.

Перший рядок у звітах – вихідний варіант. З ним порівнюються всі значення оновлених варіантів. У звітах відображено 4 стовпці – показники ймовірності успіху:

Показники ймовірності успіху

Розглянемо з прикладу:

Ми запустили тестування банерів для реєстрації в сервісі Hub of ppc tools від агентства контекстної реклами Penguin-team.

Ціль: збільшити конверсію на 10 % (збільшити кількість реєстрацій).

Гіпотеза: якщо змінити зовнішній вигляд банера, збільшиться кількість взаємодій та реєстрацій у сервісі.

Тестуємо 3 варіанти банерів:

  • вказали переваги нашого продукту (1 та 2 варіант);
  • додали різний заклик до дії (1 та 2 варіант);
  • прибрали опис продукту та зробили яскравий банер (3 варіант).

Потрібно зрозуміти, який варіант є найбільш клікабельним і приносить більше конверсій.

Варіанти для тесту

Експеримент проводимо на сторінці статті «Як скрипти Google Ads роблять роботу більш продуктивною і що потрібно для їх впровадження».

Експеримент був ще у процесі. У нас поки що мало вибірки для проведення аналізу, порівняння варіантів та прийняття рішення. У нашому випадку варто почекати закінчення тестів. Однак, звіти вже доступні, і ми використовуємо їх для візуалізації, куди і як дивитися на дані:

Звіт

Отже:

  • значення стовпця «Спрогнозоване покращення» говорять про необхідність продовжувати тестування. Діапазон -98 – 600+% занадто великий для остаточних висновків. Статистично значущим є розбіг до 30-40% за позитивних значень;
  • дані «Можливість переваги» показують, що на даний момент оригінал перемагає: можливість випередити всі інші варіанти – 33%;
  • при цьому «Імовірність поліпшення порівняно з вихідними даними» краща у першого та третього варіанта – 39 %;
  • а при аналізі спрогнозованого коефіцієнта конверсії відомо, що зараз конверсій немає. Однак передбачувана конверсія варіантів – на рівні 34-37%.

За таким принципом проводять аналіз результатів за статистично значущої вибірки.

Який варіант вибрати – результати експерименту в Google Optimize

За логікою вибирати варто той варіант, який Google Оптимайз визначить як лідер.

Проте не все так просто. Трактування та вибір змін на сайті залежить від сфери діяльності.

Якщо у вас є ecommerce. Як правило, кінцева мета оптимізації для ecommerce – підвищення конверсії та збільшення доходу. І тут важливо розуміти, що у версії, що перемогла, можуть бути підводні камені:

  • конверсія збільшилася, але за рахунок продажу дешевших товарів, середній чек зменшився;
  • конверсія збільшилася, продаж дешевих товарів збільшився, а дорогих — зменшився, середній чек залишився на тому ж рівні;
  • конверсія знизилася, продаж дорогих товарів збільшився, середній чек зменшився;
  • конверсія знизилася, продаж дорогих товарів збільшився, середній чек збільшився.

Можуть бути інші варіанти міксів.

Що робити, на якому варіанті зупинитися? Щоб правильно вибрати варіант оптимізації сайту та збільшити не тільки конверсію, але й дохід, який вона має приносити, спирайтеся на бізнес метрики, ROI, прибуток:

  1. Переконайтеся, що вибірка була статистично достовірною: тест набрав потрібну кількість трафіку. Про це свідчить статус у звіті. Крім того, рекомендуємо звірятися з попередніми розрахунками за допомогою статистичного калькулятора.
  2. Аналізуйте фінансові результати. Загальну суму продажів, середній чек за кожним тестованим варіантом та кількість транзакцій. У Google Analytics створіть кастомний звіт: Меню → Спеціальні звіти → Мої звіти → заповніть форму, вибравши параметр ID або Назва експерименту та додавши потрібні показники. Наприклад, кількість користувачів, дохід на користувача, коефіцієнт конверсії, цінність мети за сеанс, транзакції, дохід та інші значущі вам параметри, які допоможуть провести всебічний аналіз.
Кастомний звіт
Так може виглядати кастомний звіт для аналізу ефективності змінених версій ©Компанія CXL

Порівняйте дані зі створеного вами звіту в Google Analytics та звіту в Google Optimize. Переможений варіант виграє і за фінансовими показниками?

Впроваджуйте зміни, які приносять більше прибутку та збільшують середній чек. При цьому конверсія може бути нижчою за очікувану або нижче, ніж у контрольному варіанті. Проте потенційно це ефективніше, з погляду, кінцевих цілей бізнесу.

Після застосування відстежуйте зміни. А за потреби проведіть додаткові тести.

Якщо у вас немає ecommerce, буде простіше. Але не багато. Вибирайте версію лідера, яку визначив Google Optimize. Впроваджуйте зміни та регулярно відстежуйте в Аналітиці поведінку користувачів: чи досягаються цілі.

Щоб бачити динаміку, радимо зафіксувати основні показники до оптимізації. А через пару тижнів/місяць порівняти з новими даними. Якщо спостерігаєте позитивні зміни, можна ненадовго видихнути. Якщо ситуація не змінюється або стає гіршою — варто подумати, чому так і провести нове тестування.

Резюмуючи результати експерименту в Google Optimize

Не покладайтеся на джерело даних і поглиблюйте аналіз. Все потрібно перевіряти і за необхідності знову тестувати. Особливо актуально при різношерстої цільової аудиторії, багатомовному сайті, що залежить від розташування Юпітера конверсії.

Найправильніше – ставитись до результатів тестів критично. Аналізуйте, чому вони такі: від чого може залежати різниця конверсій, чому відмінна ідея, що перемогла у тестах, насправді не спрацювала, як можна перевірити результати.

Та й основне правило залишається незмінним. Оптимізація — це не разова акція, це про постійну роботу, про спосіб життя, якщо хочете.

Понравилась статья? Оцените ее:
1 Star2 Stars3 Stars4 Stars5 Stars
Loading...
Оксана
Оксана

Маркетологіня, редакторка блогу

У копірайтингу з 2012 року. У Penguin-team створює і допомагає іншим створювати корисні матеріали з маркетингу, РРС, аналітиці з 2019 року. Знає, як зберегти баланс між експертними та зрозумілістю, щоб кожен зміг розібратися в темі. Займається просуванням агентства і його продуктів

Ми використовуємо куки, щоб зробити Penguin-team зручніше і корисніше для вас

Мінімум слів. Максимум діла.

В одному листі на місяць

  • Тільки важливі новини
  • Найсвіжіші статті
  • Актуальні вакансії

В версии 3.0.0

  • новые сервисы: Ubersuggest (NeilPatel), Spyfu и другие;
  • автосохранение списка минус-слов в рабочей области;
  • авторизация для хранения данных в аккаунте;
  • списки типовых минус-слов;
  • возможность хранить пользовательские списки минус-слова в расширении для дальнейшего применения в аккаунте;
  • англоязычный и русскоязычный интерфейс.

Основные комбинации

  • LeftMouseClick для добавления слова, повторное нажатие - для удаления
  • LeftALT + LeftMouseClick - для сбора фраз
  • LeftALT + S - для поиска слов

In version 3.0.0

  • new services: Ubersuggest (NeilPatel), Spyfu and others;
  • autosave of a negative keywords list in the workspace;
  • authorization for storing data in the account;
  • generic negative keyword lists;
  • the ability to store custom lists of negative keywords in the extension for further use in your account;
  • English and Russian interface.

Key combinations

  • LeftMouseClick to add a word, press again - to delete
  • LeftALT + LeftMouseClick - to collect phrases
  • LeftALT + S - for words searching

В версии 2.0

  • 2 режима выдачи ключевых слов:
  • быстрая выдача - аналогична выдаче Google Planner, но найденные результаты включают каждое слово из введенной в поиск фразы;
  • полная выдача - расширенная выдача, которая включает поиск по дополнительным релевантным фразам, но найденные результаты также включают каждое слово из введенной в поиск фразы.
  • Обновленный файл выгрузки ключевых слов Excel:
  • выгрузка локаций в удобном формате для загрузки в Editor;
  • обновленный шаблон для создания объявлений.
  • Полный список локаций.
  • Группировка отчетов по проектам.
  • Устранена ошибка с задержкой в 30 секунд.
  • Новые фильтры для получения релевантной выдачи.
  • Копирование минус-слов.

In version 2.0:

  • 2 modes of keywords search result:
  • quick search result - is similar to one of Google Planner , but the results found include every word of the phrase entered in the search;
  • full search result - extended search result that includes search on additional relevant phrases, but the results found also include every word of the phrase entered in the search.
  • Updated Exces Keyword Upload File:
  • uploading of locations in a convenient format for uploading to Editor;
  • updated template for creating ads.
  • Full list of locations.
  • Grouping of reports on the projects.
  • Fixed an error with a delay of 30 seconds.
  • New filters for getting relevant search results.
  • Copying of negative keywords.

Кілька кроків до роботи в Penguin-team

1 Заповніть форму
2Додайте резюме
3Пройдіть тест
1.Кліків 259, показів 3 515. Чому дорівнює CTR?
2.Відвідувань на сайті 874, конверсій 16. Чому дорівнює коефіцієнт конверсії?
3.Що таке СРА?
4.CTR 4,03%, кліків 240. Чому дорівнює число показів оголошення?
5.Витрат 20 158, конверсій 63. Чому дорівнює вартість конверсії?

Кілька кроків до роботи в Penguin

Заповніть форму

Прикрепите резюме:

Укажите ФИО

Компания

Укажите e-mail

Укажите телефон

Введите пароль


Уже есть аккаунт?