Гайд по Google Optimize. Часть 3: Анализ результатов тестирования и выбор лучшего варианта

25.12.2019
Оксана Бабич
15 минут
Google Optimize, Выбор редакции, Маркетинг,
423

Google Optimize позволяет понять, какая форма увеличит количество лидов, какой цвет кнопки более «кликабельный», как меняется скроллинг при изменении меню в хедере. Однако можно ли слепо доверять полученным данным? Дают ли результаты стопроцентную гарантию? Всегда ли победивший вариант — лучший вариант?

Читайте в статье, как грамотно анализировать результаты, на что обращать внимание и что потом со всем этим делать.

Эксперимент в Google Optimize основан на байесовском методе. Для получения результата не нужна минимальная выборка. Длительность теста при этом — не менее 14 дней. А если тестирование запускается бессрочно, его можно останавливать, когда вероятность превосходства одной из версий составит более 95 %. Однако мы рекомендуем ориентироваться не на дни / недели / месяцы или показатель вероятности, а на количество пользователей, участвовавших в эксперименте! Посчитать охват для статистически достоверного результата поможет калькулятор. Тест пройдет и без этого, но итоговые значения могут получится некорректными.

Где смотреть отчеты о проведенных тестах — результаты эксперимента в Google Optimize

Результаты эксперимента видны в Google Optimize и Google Analytics. 

Важно! Результаты тестирования в Google Оптимайзе и Аналитике могут отличаться:

  • показатели сначала обрабатываются в Google Analytics, а потом передаются в Google Optimize. Возможная задержка — до 12 часов;
  • когда эксперимент завершается вручную, данные, полученные с момента последних изменений, не передаются в Google Optimize, но доступны в Analytics;
  • расчеты коэффициента конверсии в двух сервисах отличаются. В Оптимайзе показывается вероятный диапазон смоделированных коэффициентов на основе статистики, т. е. предполагается достижение того или иного результата. В Аналитике используются эмпирические расчеты — основанные на количественных показателях определенной выборки без учета возможных отклонений.

В Google Optimize данные тестирования доступны как во время проведения, так и после завершения эксперимента. Отчеты формируются в соответствующей вкладке:

Отчеты в Google Optimize

В таблицах и графиках отображаются сеансы, участвовавшие в тестировании, их график в каждой версии страницы, дата запуска и остановки эксперимента. 

Общий вид отчета
Общий вид отчета

В Google Analytics результаты доступны на вкладке «Поведение» → «Эксперименты». При клике на нужный эксперимент открывается информация о количестве сеансов и конверсий, а также о коэффициенте конверсий для определенной цели.

Google рекомендует опираться на отчеты в Optimize. А мы рекомендуем зреть в корень об этом ниже.

Как интерпретировать результаты тестирования в Google Optimize

В отчетах Google Optimize отображается статус теста. Он поможет сделать предварительные выводы о результатах, а также решить, продолжать или прекращать тестирование:

  • в ожидании данных — показатели обрабатываются и передаются из Аналитики. Подождите 12-24 часа;
  • нет экспериментов — скорее всего, есть ошибки в настройках или выставлены слишком жесткие рамки при выборе целей и аудитории. Например, установлена связь не с тем аккаунтом Аналитики. Пересмотрите настройку правила таргетинга: возможно, вы указали «равно», и это значительно сузило аудиторию. Проверьте также, правильно ли настроили аудиторию, и убедитесь, что это именно ваша аудитория;
  • недостаточно сеансов — мало трафика для отображения результата. Остается только ждать, пока выборка достигнет объема, достаточного для анализа;
  • лидер не найден — одинаковое достижение целей как при использовании оригинала, так и при обновленной версии. Подумайте над новыми гипотезами и запускайте другой тест, а текущий останавливайте — результат существенно не изменится;
  • лидер — оригинал, т. е. тестируемые варианты сработали хуже. Внедрять изменения не стоит;
  • несколько лидеров — пара или больше вариантов достигают целей лучше остальных и показывают +- одинаковый результат. Рекомендуется их объединить или запустить новый тест на сравнение лидеров.

Перейдем к трактовке подробных данных по каждой цели. 

Первая строка в отчетах — исходный вариант. С ним сравниваются все значения обновленных вариантов. В отчетах отображено 4 столбца — показатели вероятности успеха:

Трактовка подробных данных по каждой цели

Рассмотрим на примере:

Мы запустили тестирование баннеров  для регистрации в разработанном нами сервисе Hub of ppc tools

Цель: увеличить конверсию на 10 % (увеличить число регистраций).

Гипотеза: если изменить внешний вид баннера, увеличится количество взаимодействий и регистраций в сервисе.

Тестируем 3 варианта баннеров: 

  • указали преимущества нашего продукта (1 и 2 вариант); 
  • добавили разный призыв к действию (1 и 2 вариант); 
  • убрали описание продукта и сделали яркий баннер (3 вариант).

Нужно понять, какой вариант наиболее кликабельный и приносит больше конверсий.

Исходный и измененные варианты

Эксперимент проводим на странице статьи «Как скрипты Google Ads делают работу продуктивнее и что нужно для их внедрения». 

Эксперимент еще в процессе. У нас пока мало выборки для проведения анализа, сравнения вариантов и принятия решения. В нашем случае стоит подождать окончания тестов. Однако отчеты уже доступны, и мы используем их для визуализации, куда и как смотреть на данные:

Отчет по эксперименту

Итак:

  • значения столбца «Спрогнозированное улучшение» говорят о необходимости продолжать тест. Диапазон в -98 — 600+ % слишком велик для окончательных выводов. Статистически значимым является разбег до 30-40 % при положительных значениях;
  • данные «Вероятность превосходства» показывают, что на текущий момент оригинал побеждает: вероятность обогнать все другие варианты — 33 %;
  • при этом «Вероятность улучшения по сравнению с исходными данными» лучше у первого и третьего варианта — 39 %;
  • а при анализе спрогнозированного коэффициента конверсии понятно, что на сейчас конверсий нет. Однако предполагаемая конверсия вариантов — на уровне 34-37 %.

По такому принципу проводят анализ результатов при статистически значимой выборке.

Какой вариант выбрать — результаты эксперимента в Google Optimize

По логике выбирать стоит тот вариант, который Гугл Оптимайз определит как лидирующий.

Однако не все так просто. Трактовка и выбор изменений на сайте зависит от сферы деятельности.

Если у вас ecommerce. Как правило, конечная цель оптимизации для ecommerce — повышение конверсии и увеличение дохода. И тут важно понимать, что у победившей версии, могут быть подводные камни:

  • конверсия увеличилась, но за счет продаж более дешевых товаров, средний чек уменьшился;
  • конверсия увеличилась, продажи дешевых товаров увеличились, а дорогих — уменьшились, средний чек остался на том же уровне;
  • конверсия снизилась, продажи дорогих товаров увеличились, средний чек уменьшился;
  • конверсия снизилась, продажи дорогих товаров увеличились, средний чек увеличился.

Могут быть и другие варианты миксов.

Что же делать, на каком варианте остановиться? Чтобы правильно выбрать вариант оптимизации сайта и увеличить не только конверсию, но и доход, который она должна приносить, опирайтесь на бизнес метрики, ROI, прибыль:

  1. Убедитесь, что выборка была статистически достоверной: тест набрал нужное количество трафика. Об этом говорит статус в отчете. Кроме того, рекомендуем сверяться с вашими предварительными расчетами с помощью статистического калькулятора.
  2. Анализируйте финансовые результаты. Общую сумму продаж, средний чек по каждому тестируемому варианту и количество транзакций. В Google Analytics создайте кастомный отчет: Меню → Специальные отчеты → Мои отчеты → заполните форму, выбрав параметр ID или Название эксперимента и добавив нужные показатели. Например, количество юзеров, доход на юзера, коэффициент конверсии, ценность цели за сеанс, транзакции, доход и другие значимые для вас параметры, которые помогут провести всесторонний анализ.
Кастомный отчет в Google Аналитике по результатам эксперимента в Google Оптимайзе
Вот так может выглядеть кастомный отчет для анализа эффективности измененных версий ©Компания CXL

Сравните данные из созданного вами отчета в Google Analytics и отчета в Google Optimize. Победивший вариант выигрывает и по финансовым показателям? 

Внедряйте изменения, которые приносят больше прибыли и увеличивают средний чек. При этом конверсия может быть ниже ожидаемой или ниже, чем в контрольном варианте. Однако потенциально это эффективнее, с точки зрения, конечных целей бизнеса.

После внедрения отслеживайте изменения. А при необходимости проведите дополнительные тесты.

Если у вас НЕ ecommerce, будет проще. Но не на много. Выбирайте версию-лидера, которую определил Google Optimize. Внедряйте изменения и регулярно отслеживайте в Аналитике поведение пользователей: достигаются ли цели. 

Чтобы видеть динамику, рекомендуем зафиксировать основные показатели до оптимизации. А через пару недель / месяц сравнить с новыми данными. Если наблюдаете положительные изменения — можно ненадолго выдохнуть. Если ситуация не меняется или становится хуже — стоит подумать, почему так, и провести новое тестирование.

Резюмируя — результаты эксперимента в Google Optimize

Не полагайтесь на один источник данных и углубляйте анализ. Все нужно проверять и при необходимости опять тестировать. Особенно актуально при разношерстной целевой аудитории, многоязыковом сайте, зависящей от расположения Юпитера конверсии.

Самое правильное – относиться к результатам тестов критически. Анализируйте, почему они такие: от чего может зависеть разница конверсий, почему отличная идея, победившая в тестах, на деле не сработала, как еще можно проверить результаты.

Ну и основное правило остается неизменным. Оптимизация — это не про разовую акцию, это про постоянную работу, про образ жизни, если хотите.

Процесс оптимизации
1 Star2 Stars3 Stars4 Stars5 Stars (3 votes, average: 5.00 out of 5)
Loading...

Будьте в курсе последних обновлений

Присоединиться в
Оксана Бабич

Оксана Бабич

Автор блога

Создает и помогает другим создавать полезные материалы по маркетингу, РРС, аналитике. Знает, как сохранить баланс между экспертностью и понятностью, чтобы каждый смог разобраться в теме здесь и сейчас

Получить 7 писем о том,
как улучшить свой AdWords аккаунт
+ PPC статьи

Имя
e-mail
Улучшить AdWords

Улучшить свой AdWords

Получите 7 писем, о том, как можно улучшить свой аккаунт в AdWords

Подписаться

Наш сайт использует файлы cookie, чтобы улучшить работу и предоставить максимальное удобство пользователям.

В версии 3.0.0

  • новые сервисы: Ubersuggest (NeilPatel), Spyfu и другие;
  • автосохранение списка минус-слов в рабочей области;
  • авторизация для хранения данных в аккаунте;
  • списки типовых минус-слов;
  • возможность хранить пользовательские списки минус-слова в расширении для дальнейшего применения в аккаунте;
  • англоязычный и русскоязычный интерфейс.

Основные комбинации

  • LeftMouseClick для добавления слова, повторное нажатие - для удаления
  • LeftALT + LeftMouseClick - для сбора фраз
  • LeftALT + S - для поиска слов

In version 3.0.0

  • new services: Ubersuggest (NeilPatel), Spyfu and others;
  • autosave of a negative keywords list in the workspace;
  • authorization for storing data in the account;
  • generic negative keyword lists;
  • the ability to store custom lists of negative keywords in the extension for further use in your account;
  • English and Russian interface.

Key combinations

  • LeftMouseClick to add a word, press again - to delete
  • LeftALT + LeftMouseClick - to collect phrases
  • LeftALT + S - for words searching

В версии 2.0

  • 2 режима выдачи ключевых слов:
  • быстрая выдача - аналогична выдаче Google Planner, но найденные результаты включают каждое слово из введенной в поиск фразы;
  • полная выдача - расширенная выдача, которая включает поиск по дополнительным релевантным фразам, но найденные результаты также включают каждое слово из введенной в поиск фразы.
  • Обновленный файл выгрузки ключевых слов Excel:
  • выгрузка локаций в удобном формате для загрузки в Editor;
  • обновленный шаблон для создания объявлений.
  • Полный список локаций.
  • Группировка отчетов по проектам.
  • Устранена ошибка с задержкой в 30 секунд.
  • Новые фильтры для получения релевантной выдачи.
  • Копирование минус-слов.

In version 2.0:

  • 2 modes of keywords search result:
  • quick search result - is similar to one of Google Planner , but the results found include every word of the phrase entered in the search;
  • full search result - extended search result that includes search on additional relevant phrases, but the results found also include every word of the phrase entered in the search.
  • Updated Exces Keyword Upload File:
  • uploading of locations in a convenient format for uploading to Editor;
  • updated template for creating ads.
  • Full list of locations.
  • Grouping of reports on the projects.
  • Fixed an error with a delay of 30 seconds.
  • New filters for getting relevant search results.
  • Copying of negative keywords.

Несколько шагов до работы в Penguin

Заполните форму

Прикрепите резюме:
1Кликов 259, показов 3 515. Чему равно CTR?
2Заходов на сайт 874, конверсий 16. Чему равен коэффициент конверсии?
3Что такое СРА?
4CTR 4,03%, кликов 240. Чему равно число показов объявления?
5Затрат 20 158, конверсий 63. Чему равна стоимость конверсии?

Несколько шагов до работы в Penguin

Заполните форму

Прикрепите резюме: