4063
Привет! Мы — Penguin-team, агентство контекстной рекламы, а это — наш блог по бизнесу, маркетингу и РРС. Каждый месяц мы выпускаем гайды, статьи и инструкции о том, как работать с eCommerce, брендировать, настраивать Google Рекламу и другие каналы трафика.
Наш блог читают маркетологи, SEM-специалисты и предприниматели; его рекомендуют на SEMConf и других конференциях.
Еще больше уникальных материалов — в рассылке 👇 Подписывайтесь!
Получать еще больше уникальных материалов 👉🏻
Спасибо за подписку!
4063
Гайд по Google Optimize. Часть 3: Анализ результатов тестирования и выбор лучшего варианта
25.12.2019
15 минут
easy
- Часть 1: Основное про сервис и работу с ним
- Часть 2: Поэтапное создание тестов для РРСшников
- Часть 3: Анализ результатов тестов (вы тут)
- Часть 4: Советы по работе с Google Optimize
Google Optimize позволяет понять, какая форма увеличит количество лидов, какой цвет кнопки более «кликабельный», как меняется скроллинг при изменении меню в хедере. Однако можно ли слепо доверять полученным данным? Дают ли результаты стопроцентную гарантию? Всегда ли победивший вариант — лучший вариант?
Читайте в статье агентства контекстной рекламы Penguin-team, как грамотно анализировать результаты, на что обращать внимание и что потом со всем этим делать.
Эксперимент в Google Optimize основан на байесовском методе. Для получения результата не нужна минимальная выборка. Длительность теста при этом — не менее 14 дней. А если тестирование запускается бессрочно, его можно останавливать, когда вероятность превосходства одной из версий составит более 95 %. Однако мы рекомендуем ориентироваться не на дни / недели / месяцы или показатель вероятности, а на количество пользователей, участвовавших в эксперименте! Посчитать охват для статистически достоверного результата поможет калькулятор. Тест пройдет и без этого, но итоговые значения могут получится некорректными.
Где смотреть отчеты о проведенных тестах — результаты эксперимента в Google Optimize
Результаты эксперимента видны в Google Optimize и Google Analytics.
Важно! Результаты тестирования в Google Оптимайзе и Аналитике могут отличаться:
- показатели сначала обрабатываются в Google Analytics, а потом передаются в Google Optimize. Возможная задержка — до 12 часов;
- когда эксперимент завершается вручную, данные, полученные с момента последних изменений, не передаются в Google Optimize, но доступны в Analytics;
- расчеты коэффициента конверсии в двух сервисах отличаются. В Оптимайзе показывается вероятный диапазон смоделированных коэффициентов на основе статистики, т. е. предполагается достижение того или иного результата. В Аналитике используются эмпирические расчеты — основанные на количественных показателях определенной выборки без учета возможных отклонений.
В Google Optimize данные тестирования доступны как во время проведения, так и после завершения эксперимента. Отчеты формируются в соответствующей вкладке:
В таблицах и графиках отображаются сеансы, участвовавшие в тестировании, их график в каждой версии страницы, дата запуска и остановки эксперимента.
В Google Analytics результаты доступны на вкладке «Поведение» → «Эксперименты». При клике на нужный эксперимент открывается информация о количестве сеансов и конверсий, а также о коэффициенте конверсий для определенной цели.
Google рекомендует опираться на отчеты в Optimize. А Penguin-team рекомендуем зреть в корень — об этом ниже.
Как интерпретировать результаты тестирования в Google Optimize
В отчетах Google Optimize отображается статус теста. Он поможет сделать предварительные выводы о результатах, а также решить, продолжать или прекращать тестирование:
- в ожидании данных — показатели обрабатываются и передаются из Аналитики. Подождите 12-24 часа;
- нет экспериментов — скорее всего, есть ошибки в настройках или выставлены слишком жесткие рамки при выборе целей и аудитории. Например, установлена связь не с тем аккаунтом Аналитики. Пересмотрите настройку правила таргетинга: возможно, вы указали «равно», и это значительно сузило аудиторию. Проверьте также, правильно ли настроили аудиторию, и убедитесь, что это именно ваша аудитория;
- недостаточно сеансов — мало трафика для отображения результата. Остается только ждать, пока выборка достигнет объема, достаточного для анализа;
- лидер не найден — одинаковое достижение целей как при использовании оригинала, так и при обновленной версии. Подумайте над новыми гипотезами и запускайте другой тест, а текущий останавливайте — результат существенно не изменится;
- лидер — оригинал, т. е. тестируемые варианты сработали хуже. Внедрять изменения не стоит;
- несколько лидеров — пара или больше вариантов достигают целей лучше остальных и показывают +- одинаковый результат. Рекомендуется их объединить или запустить новый тест на сравнение лидеров.
Хотите улучшить аккаунт Google Ads? Подписывайтесь на 7-дневный курс от Penguin-team! В курс входят уроки по рекламе в Поиске и КМС, тестированию, оптимизации и менеджменту. Все письма написаны нашими специалистами на основе их личного опыта.
Перейдем к трактовке подробных данных по каждой цели.
Первая строка в отчетах — исходный вариант. С ним сравниваются все значения обновленных вариантов. В отчетах отображено 4 столбца — показатели вероятности успеха:
Рассмотрим на примере:
Мы запустили тестирование баннеров для регистрации в сервисе Hub of ppc tools от агентства контекстной рекламы Penguin-team.
Цель: увеличить конверсию на 10 % (увеличить число регистраций).
Гипотеза: если изменить внешний вид баннера, увеличится количество взаимодействий и регистраций в сервисе.
Тестируем 3 варианта баннеров:
- указали преимущества нашего продукта (1 и 2 вариант);
- добавили разный призыв к действию (1 и 2 вариант);
- убрали описание продукта и сделали яркий баннер (3 вариант).
Нужно понять, какой вариант наиболее кликабельный и приносит больше конверсий.
Эксперимент проводим на странице статьи «Как скрипты Google Ads делают работу продуктивнее и что нужно для их внедрения».
Эксперимент еще в процессе. У нас пока мало выборки для проведения анализа, сравнения вариантов и принятия решения. В нашем случае стоит подождать окончания тестов. Однако отчеты уже доступны, и мы используем их для визуализации, куда и как смотреть на данные:
Итак:
- значения столбца «Спрогнозированное улучшение» говорят о необходимости продолжать тест. Диапазон в -98 — 600+ % слишком велик для окончательных выводов. Статистически значимым является разбег до 30-40 % при положительных значениях;
- данные «Вероятность превосходства» показывают, что на текущий момент оригинал побеждает: вероятность обогнать все другие варианты — 33 %;
- при этом «Вероятность улучшения по сравнению с исходными данными» лучше у первого и третьего варианта — 39 %;
- а при анализе спрогнозированного коэффициента конверсии понятно, что на сейчас конверсий нет. Однако предполагаемая конверсия вариантов — на уровне 34-37 %.
По такому принципу проводят анализ результатов при статистически значимой выборке.
Какой вариант выбрать — результаты эксперимента в Google Optimize
По логике выбирать стоит тот вариант, который Гугл Оптимайз определит как лидирующий.
Однако не все так просто. Трактовка и выбор изменений на сайте зависит от сферы деятельности.
Если у вас ecommerce. Как правило, конечная цель оптимизации для ecommerce — повышение конверсии и увеличение дохода. И тут важно понимать, что у победившей версии, могут быть подводные камни:
- конверсия увеличилась, но за счет продаж более дешевых товаров, средний чек уменьшился;
- конверсия увеличилась, продажи дешевых товаров увеличились, а дорогих — уменьшились, средний чек остался на том же уровне;
- конверсия снизилась, продажи дорогих товаров увеличились, средний чек уменьшился;
- конверсия снизилась, продажи дорогих товаров увеличились, средний чек увеличился.
Могут быть и другие варианты миксов.
Что же делать, на каком варианте остановиться? Чтобы правильно выбрать вариант оптимизации сайта и увеличить не только конверсию, но и доход, который она должна приносить, опирайтесь на бизнес метрики, ROI, прибыль:
- Убедитесь, что выборка была статистически достоверной: тест набрал нужное количество трафика. Об этом говорит статус в отчете. Кроме того, рекомендуем сверяться с вашими предварительными расчетами с помощью статистического калькулятора.
- Анализируйте финансовые результаты. Общую сумму продаж, средний чек по каждому тестируемому варианту и количество транзакций. В Google Analytics создайте кастомный отчет: Меню → Специальные отчеты → Мои отчеты → заполните форму, выбрав параметр ID или Название эксперимента и добавив нужные показатели. Например, количество юзеров, доход на юзера, коэффициент конверсии, ценность цели за сеанс, транзакции, доход и другие значимые для вас параметры, которые помогут провести всесторонний анализ.
Сравните данные из созданного вами отчета в Google Analytics и отчета в Google Optimize. Победивший вариант выигрывает и по финансовым показателям?
Внедряйте изменения, которые приносят больше прибыли и увеличивают средний чек. При этом конверсия может быть ниже ожидаемой или ниже, чем в контрольном варианте. Однако потенциально это эффективнее, с точки зрения, конечных целей бизнеса.
После внедрения отслеживайте изменения. А при необходимости проведите дополнительные тесты.
Если у вас НЕ ecommerce, будет проще. Но не на много. Выбирайте версию-лидера, которую определил Google Optimize. Внедряйте изменения и регулярно отслеживайте в Аналитике поведение пользователей: достигаются ли цели.
Чтобы видеть динамику, рекомендуем зафиксировать основные показатели до оптимизации. А через пару недель / месяц сравнить с новыми данными. Если наблюдаете положительные изменения — можно ненадолго выдохнуть. Если ситуация не меняется или становится хуже — стоит подумать, почему так, и провести новое тестирование.
Резюмируя — результаты эксперимента в Google Optimize
Не полагайтесь на один источник данных и углубляйте анализ. Все нужно проверять и при необходимости опять тестировать. Особенно актуально при разношерстной целевой аудитории, многоязыковом сайте, зависящей от расположения Юпитера конверсии.
Самое правильное – относиться к результатам тестов критически. Анализируйте, почему они такие: от чего может зависеть разница конверсий, почему отличная идея, победившая в тестах, на деле не сработала, как еще можно проверить результаты.
Ну и основное правило остается неизменным. Оптимизация — это не про разовую акцию, это про постоянную работу, про образ жизни, если хотите.
Loading...
