(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Гиди Виго, старший директор по продуктам, Dynamic Yield
Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.
Коптельня — команда по быстрой разработке веб-приложений и сайтов.
Оптимизация конверсии — это довольно мощный инструмент, с которым, впрочем, легко заиграться. Очень часто мероприятия по оптимизации конверсии не приносят значимых результатов — и даже наоборот, подталкивают исследователей к беспочвенным, а то и ложным выводам. К счастью, самых серьезных ошибок можно избежать, если следовать методологии.
Когда процесс оптимизации конверсии не приносит ожидаемых результатов, на это может быть множество причин. Один из наиболее важных факторов, которые влияют на исход процесса — это выбор правильной цели оптимизации.
В сущности, конверсия — это некое действие, которое совершает посетитель сайта и которое является значимым для вашего бизнеса. За конверсию можно принять количество кликов на элемент интерфейса, определенное событие или действие — главное, чтобы этот показатель был напрямую связан с финансовым результатом. Не важно, стремитесь ли вы повысить количество показов и кликов, увеличить число лидов или поднять продажи — в любом случае успех всей операции отчасти зависит от правильной постановки цели.
Однако оговоримся: даже если ваша цель сформулирована идеально — то есть она конкретная, измеримая и тп по SMART — это лишь один из факторов, которые влияют на исход эксперимента. Среди прочих факторов можно назвать:
- тип эксперимента,
- размер аудитории,
- время проведения теста,
- атрибуция конверсии,
- количество вариаций, участвующих в эксперименте,
- и масштаб вносимых изменений.
То есть суть не только в замере результатов — мы стремимся за счет правильных методов оптимизации выжать из данных, которыми располагаем, максимум. Далее мы рассмотрим таблицу, которая отлично иллюстрирует эту идею.
Используйте эту таблицу как инструмент корректировки целей оптимизации в зависимости от объема выборки и длительности эксперимента. Если вы не знаете свой объем выборки, воспользуйтесь онлайн-калькулятором. Конечно, этот инструмент — не волшебная таблетка и не дает точных ответов. Используйте его как ориентир.
Как выбрать правильную цель оптимизации:
| Маленький объем выборки | Средний объем выборки | Большой объем выборки | |
|---|---|---|---|
| Короткая продолжительность эксперимента | — | Цель оптимизации — достижение определенного события | Цель оптимизации — достижение определенного события |
| Средняя продолжительность эксперимента | Цель оптимизации — повышение CTR (кликабельность, от англ. click-through rate — показатель кликабельности) | Цель оптимизации — достижение определенного события | Цель оптимизации — рост прибыли |
| Длительная продолжительность эксперимента | Цель оптимизации — повышение CTR | Цель оптимизации — рост прибыли | Цель оптимизации — рост прибыли |
Время имеет огромное значение: оно является одним из ключевых факторов, на основе которых мы определяем цели оптимизации в наших экспериментах. Если у вас интернет-магазин и вам не терпится собрать результаты по эксперименту, который вы только что запустили, запомните главное: оптимизация, направленная на повышение прибыли, требует более длительного цикла тестирования, чем та же оптимизация с целью роста CTR.
В случае с оптимизацией с целью роста прибыли, в дело вступает еще и проблема атрибуции — то есть соотнесения целевой конверсии с конкретной вариацией контента. Дело в том, что покупка — это более сложный и многоступенчатый процесс, чем тот же клик. Одни покупатели долго сравнивают цены, прежде чем купить именно у вас, другие просто не сразу решаются на покупку.
Таким образом, между первым контактом с вариацией, участвующей в эксперименте, и целевым действием — покупкой товара — может произойти очень много событий. Поэтому принцип такой: если вам нужны быстрые результаты, не стоит замахиваться на оптимизацию с целью роста прибыли. Возьмите за цель количество кликов или достижение определенного события: конверсионные циклы в этом случае будут гораздо короче и проще.
Не подглядывайте, пока тест не закончится
Еще одна большая проблема — это поспешные выводы (см. «Peeking problem»/«Проблема подглядывания»). Да, бывает сложно сохранять хладнокровие и игнорировать очевидного (казалось бы) победителя на протяжении всего эксперимента.
Иногда на ранних этапах эксперимент показывает существенный рост, но со временем показатели выравниваются. Если в подобной ситуации поторопиться с выводами и начать действовать, исходя из сырых данных, это может вылететь в копеечку.
Результаты тестов могут существенно разниться в зависимости от индустрии и объема выборки, но есть одно железобетонное правило: чтобы добиться статистически значимых результатов, нужно подождать, пока в эксперименте накопится достаточное количество данных.
Даже если ваш инструмент тестирования предсказывает рост показателей — покрутите тест как минимум несколько недель (или несколько циклов покупки), прежде чем приступать к анализу результатов.
Правильно расставляйте приоритеты в тестировании
Ни один эксперимент не застрахован от ошибок. На каждую вариацию, участвующую в тестировании, нужно выделить достаточно трафика — иначе ни по одной из них не получить значимых результатов. Не стоит тестировать каждую мелочь просто потому, что вы можете.
Тестируйте только весомые изменения, достаточно значимые, чтобы повлиять на прибыль компании. А если вы не располагаете достаточным объемом данных (трафика или конверсий), ваши эксперименты не смогут достичь минимальной статистической значимости 95% — следовательно в них нет никакого смысла.
Кроме того, на каждый тест уходят значительные ресурсы (бюджет, время, усилия), так что экспериментируйте только с теми элементами, которые с высокой вероятностью повлияют на результат: то есть с формулировками сообщений, баннерами и призывами к действию (CTA). Если вы начнете тестировать каждую мелочь, на вас обрушатся океаны данных, которые непонятно как использовать.
На сайтах с низким трафиком вообще бессмысленно проводить краткосрочные эксперименты. Чем меньше объем выборки, тем сложнее системе фиксировать реальные изменения конверсии.
При низком объеме выборки, на эксперимент требуется значительно больше времени — и невозможно гарантировать, что по истечении этого времени вообще будет результат.
Вывод и рекомендация
Ни один отдельно взятый эксперимент, инструмент или метод не способен радикально изменить ваш бизнес. A/B тест — не волшебная таблетка. Но если вы будете периодически проводить грамотно спланированные тесты и постепенно вносить изменения в сайт, то со временем эффект накопится.
Действуйте поэтапно, ставьте правильные цели и проводите мероприятия по оптимизации регулярно и методично. Делайте ставку на небольшие победы — и в долгосрочной перспективе выйдете на качественно новый уровень.
← Назад | Продолжение (Глава 7) →