А/Б тестирование — практическое руководство: что такое, в чем ценность и как провести | Глава 1

Авторы английской версии: Янив Навот, CMO, Dynamic Yield; Дэвид Стейнберг, профессор, KPA Group; Рон Кенет, профессор, KPA Group; Идан Михаэли, директор по Data Science в Hippo Insurance; Гиди Виго, старший директор по продуктам, Dynamic Yield; Джон Пилер, директор по разработке корпоративных решений в Dynamic Yield; Алекс Фитцжеральд, Со-основатель и CMO, Brave; Шана Пилевски, директор по маркетингу, Dynamic Yield

А/В-тестирование — это метод сравнения двух версий страницы или приложения, который помогает понять, какая из них работает лучше в контексте какой-то конкретной задачи. А/В-тест — один из самых популярных методов повышения результативности цифровых продуктов: сайтов, мобильных приложений, SaaS-продуктов, рассылок и других т.д.

Перед вами перевод «A/B Testing & Optimization Course» от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.

Коптельня — команда по быстрой разработке веб-приложений и сайтов.

При помощи контролируемых экспериментов маркетологи, продакт-менеджеры, дизайнеры и разработчики могут быстро проверять свои творческие идеи на жизнеспособность и, отталкиваясь от объективных данных, быстро и гибко внедрять самые удачные из них в продукт. Короче говоря, вам больше не надо рассуждать, почему тот или иной вариант страницы (или шага в пользовательском сценарии) более удачный — эксперимент все скажет сам за себя. Этот метод идеально подходит, когда нужно поднять конверсию, увеличить выручку, нарастить базу подписчиков или привлечь побольше клиентов и лидов. 

Содержание:

1. Что такое A/B-тестирование и как провести его правильно | Глава 1
2. A/A тестирование  — способ проверить корректность работы механизма A/B-тестирования | Глава 2
3. Что такое статистическая значимость в A/B тестах и почему она важна | Глава 3
4. Как правильно распределять трафик при A/B тестировании | Глава 4
5. Атрибуция конверсии в A/B тестировании: что такое, в чем ценность и какой уровень атрибуции использовать| Глава 5
6. Оптимизация конверсии: что такое, в чем ценность и как выбрать подходящую цель оптимизации | Глава 6
7. Частотный и байесовский подходы к A/B тестированию: подробное сравнение | Глава 7
8. Как провести байесовский A/B-тест правильно: подробное руководство | Глава 8
9. Многорукие бандиты как альтернатива A/B-тестам | Глава 9
10. A/B-тестирование и персонализация на стороне клиента и сервера: какой метод выбрать и когда| Глава 10
11. Сегментация в A/B-тестировании: в чем ценность, как сделать, подводные камни | Глава 11
12. Как A/B тесты и персонализация влияют на SEO и какие нюансы важно учесть | Глава 12
13. Как выжимать значимые результаты из любого эксперимента и почему неудачных A/B тестов не бывает | Глава 13
14. Как правильно проанализировать и оценить результаты A/B теста | Глава 14
15. Как увеличить бизнес-показатели: кейс по A/B-тестированию компании Kopari Beauty | Глава 15

Глобальные компании, такие как Google, Amazon, Fb и Netflix выстроили процессы в бизнесе так, чтобы проводить тысячи экспериментов в год и оперативно внедрять их результаты в работу. 

Джефф Безос однажды сказал: «Успех Amazon зависит от того, сколько экспериментов мы сможем провести в год, в месяц, в неделю, в день». 

В технологическом блоге Netflix в апреле 2016 года прозвучала такая фраза: «Благодаря эмпирическому подходу к работе, мы точно знаем, что изменения в продукте продиктованы не вкусами и мнениями самых авторитетных сотрудников компании, а объективными данными. То есть наши зрители сами подсказывают нам, что им нравится».

И Марк Цукерберг в одном из интервью признался, что успех Fb кроется в их уникальной системе тестирования, чем предприниматель очень гордится: «В любую секунду в мире работает не одна версия Fb, а порядка 10,000».  

Что такое A/B тест и в чем его ценность для развития цирфорового продукта?

В классическом A/B тесте, мы, первым делом, определяем, что будем тестировать и какова наша задача. Далее мы создаем одну или несколько вариаций исходного веб-элемента (еще его называют контрольной группой или точкой отсчета). Далее, мы делим трафик пополам (в случайном порядке: то есть распределяем пользователей согласно некой вероятности), и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.

Очень важно проводить тесты грамотно: иначе вы не только не получите осмысленные и полезные результаты, но и можете выбрать ошибочный путь. В целом, контролируемые эксперименты могут помочь в решении следующих задач и дают следующую ценность: 

1. Разобраться с недочетами UX и популярными барьерами для клиентов (pain points)
2. Повысить эффективность существующего трафика (поднять конверсию (conversions)и выручку (revenue), оптимизировать затраты на привлечение клиентов (customer acquisition costs))
3. Поднять вовлеченность (снизить показатель отказов (bounce rate), повысить показатель кликабельности (click-through rate) и т.д.)

Нужно помнить, что когда мы отдаем предпочтение тому или иному варианту, мы по сути масштабируем результаты, полученные к этому моменту, на всю аудиторию потенциальных пользователей. Это настоящий прыжок веры, и каждое такое действие должно быть обосновано. Внедряя решения без веских оснований, мы обязательно сделаем хоть один неверный шаг — что негативно скажется на продукте в долгосрочной перспективе. Процесс сбора таких обоснований мы называем тестированием гипотез, а искомые обоснования —статистической значимостью. 

Вот несколько примеров A/B тестов: 

• Тестирование разных типов сортировки в меню навигации сайта (как в этом примере крупного немецкого продавца электроники)
• Тестирование и оптимизация лендингов (как в этом примере ведущей европейской компании по защите авиапассажиров)
• Тестирование маркетинговых сообщений: например, рассылок или баннеров (как в этом примере международного розничного продавца натуральной косметики)

Как рождается A/B тест: Изучаем ситуацию и формулируем гипотезу

В основе любого A/B теста лежит проблема (ситуация), которую нам надо решить (разрешить) или некое поведение пользователя, которое нам нужно изменить или, наоборот, закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтверждается, либо опровергается в результате эксперимента. 

Пример продуктовой гипотезы: Если мы добавим значок с социальным доказательством на страницу с описанием продукта, посетители узнают о популярности нашего продукта, и количество добавлений в корзину вырастет на 10%. 

Разбор гипотезы: В этом случае, когда мы выявили проблему (низкий показатель добавлений в корзину, к примеру) и сформулировали гипотезу (решение: отображение значка с социальным доказательством стимулирует пользователей добавлять товар в корзину чаще), можно приступать к тестированию на сайте. 

Классический подход к A/B тестированию: как организуется эксперимент и распределяется трафик между версиями

В простом A/B тесте трафик распределяется между двумя версиями. Одна из версий — с оригинальным (текущим) контентом и дизайном — считается контрольной. Вторая версия — это вариация. Изменения могут быть разными: к примеру, можно протестировать разные варианты заголовка, кнопки call-to-action, лейаут, дизайн и т.п.  

В классическом эксперименте на уровне одной страницы, нам даже не нужно делать два URL для тестирования. Большинство решений для A/B тестирования позволяют динамически менять контент, лейаут и дизайн страницы. 

Однако, если вы хотите включить в тестирование 2+ набора страниц, тогда нужно проводить сплит тестирование и использовать несколько URL. 

В каких случаях проводить сплит тестирование 

Сплит тестирование (иногда его называют многостраничным тестированием) в целом похоже на A/B тестирование, но позволяет проводить эксперименты с использованием отдельного URL для каждой вариации. Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент. 

Допустим, у вас уже есть два страницы, и вы хотите узнать, какая из них работает лучше. К примеру, вы запускаете рассылку и у вас есть две разные версии потенциального лендинга. Проведите сплит тестирование — и поймете, какой лендинг показывает лучшие результаты в рамках этой кампании. 

В A/B тест можно включить и больше двух вариаций

Если вы хотите протестировать более двух вариаций, проведите A/B/n тест. С его помощью можно сравнить эффективность трех или более вариаций, вместо того, чтобы тестировать каждую вариацию относительно одной и той же контрольной вариации (то есть проводить цепочку независимых A/B тестов). Если на сайте высокий трафик, при помощи A/B/n тестирования можно проверять множество вариаций разом, тем самым сокращая время тестирования и получая результаты быстрее.

Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест. 

Что такое мультивариативное тестирование

Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов. В первой вариации замените главное фото на странице формой для обратной связи. Во второй вариации, добавьте на страницу видео. Теперь система сгенерирует на базе ваших изменений еще одну возможную вариацию — с видео И формой обратной связи. 

Всего получится 2 x 2 = 4 вариации страницы

V1 — контрольная версия (без формы обратной связи и без видео)

V2 — вариация с формой обратной связи 

V3 — вариация с видео 

V4 — вариация с формой обратной связи + видео 

Поскольку в ходе мультивариативного тестирования проверяются все возможные комбинации, не рекомендуется добавлять много вариантов — если только у вас не сайт с очень и очень высоким трафиком. Если проводить мультивариативное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц.

Какой тест применить в зависимости от ситуации 

A/B тест поможет найти ответы вопросы типа: “на какую из этих двух вариаций страницы посетители реагируют лучше?”

А мультивариантные тесты помогут ответить такие вопросы: 

• Посетители лучше реагируют на видео или на форму обратной связи? 
• Или лучше работает только форма обратной связи, без видео? 
• Или лучше оставить видео и убрать форму обратной связи? 

Как оценить эффективность платформы для A/B тестирования 

Чтобы оценить эффективность платформы для A/B тестирования, можно провести A/A тест. Для этого вам нужно создать две одинаковые версии страницы и запустить A/B тест. В идеале, система должна выдать ответ, что обе вариации показали примерно одинаковые результаты. Подробнее про A/A тесты читайте здесь. 

Вывод и рекомендации: разбираем путь к результативным A/B тестам 

«Я не провалил тест, я просто нашел 100 способов выполнить его неправильно». — Бенджамин Франклин

При проведении A/B тестирования очень важна четкая и адекватная методология. Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании.

A/B тестирование дает нам фреймворк, который позволяет сравнить реакцию посетителей сайта на различные вариации страниц (и паттерны движения к цели), и если одна из вариаций работает лучше — установить статистическую значимость результата и в какой-то мере причинно-следственную связь. 

Это первая глава | Продолжение (Глава 2) →