(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Янив Навот, CMO, Dynamic Yield
Одна из самых крупных ошибок, которую допускают компании, когда всерьез начинают проводить A/B тесты, состоит в том, что при тестировании ребята ориентируются на одну простую аудиторию (что, как правило, означает “на всех пользователей сразу”).
Ситуация в том, что если в результате тестирования вы рассчитываете получить адекватные и осмысленные выводы, вам следует сегментировать аудиторию и продумывать стратегию персонализации под каждый сегмент.
Ориентация на “среднестатистического пользователя” (что, как правило, означает “на всех пользователей сразу”) — это ловушка, в которую легко попадают многие новички. Они думают, что если закинуть “сеть” побольше, получится “поймать” всех. В реальности нет никакого “среднестатистического пользователя”. Да, все посетители сайта действительно формируют некую общую кривую нормального распределения, но на самом деле совокупность посетителей состоит из подгрупп пользователей, каждая из которых имеет собственные кривые нормального распределения на разных участках.
Давайте начнем с простого вопроса:
ВЫ сами — среднестатистический?
В некоторых аспектах, вероятно, да; но по другим очень важным параметрам — нет.
В разрезе посетителей сайта, можно выделить такие подгруппы:
- Новые посетители и те, кто заходит повторно
- Мужчины и женщины
- Пользователи мобильных устройств и десктопов
- Постоянные клиенты и разовые покупатели
Представители каждой из этих групп имеют определенные общие черты (affinities) и, если при проведении экспериментов вы будете ориентироваться на каждую группу в отдельности, есть шансы выявить уникальные групповые стимулы, которые обеспечивают рост конверсии и средней стоимости заказа.
Давайте разберем на примере, почему тестирование на средней аудитории — это плохо.
Пример: Допустим, у вас интернет-магазин верхней одежды, и 80% ваших посетителей — мужчины.
Как стартовали эксперимент: Вы хотите протестировать разные варианты главного баннера на главной странице: (A)один с акцентом на мужскую одежду, (B)другой — с акцентом на женскую.
Подводные камни: При таком сценарии, с учетом вашей аудитории, “мужской” баннер скорее всего всегда будет побеждать. Тестирование в данной случае не сообщит вам никакой новой информации. Что еще хуже, однозначные результаты теста могут скрыть от вашего внимания тот возможный факт, что реакция женской части аудитории на “женский” баннер превысила все ожидания по конверсии.
Как сделать лучше: В данном случае, самый простой способ повысить конверсию — выделить посетителей-женщин в отдельный сегмент и показывать им релевантный контент (“женский” баннер). Вот только вы никогда не придете к этому выводу, если будете крутить тестирование на усредненную аудиторию “всех пользователей”. И это лишь одно свидетельство того, что сегментация — это важная часть эффективного тестирования.
Несколько советов по сборке следующей партии A/B тестов:
1. Не переборщите с сегментацией
Подсвечивать некоторые элементы сайта для определенного сегмента аудитории — это одно, но не стоит впадать в крайности. Допустим, если вы создаете опыт взаимодействия, заточенный под женщину, имеет смысл показывать ей больше женских и меньше мужских товаров. В то же время совсем убирать из ее поля зрения мужские товары не стоит, потому что вы не знаете ее целей: может быть она покупает подарок парню или мужу.
2. Начинайте с больших сегментов и постепенно сужайте
Рекомендуем для начала сгруппировать посетителей в крупные сегменты, а потом прорабатывать все более мелкие группы. Большие сегменты — это большой трафик, а значит вы быстрее и проще сможете достичь статистической значимости — то есть, так скажем, поразить сначала легкую мишень.
Быстро собрав информацию, которая лежит на поверхности, вы сможете выделить больше времени на создание более проработанных тестов под более узкие сегменты. Тот же принцип — от большого к малому — работает и с разными разделами сайта. Сначала рекомендуем прорабатывать страницы, на которые идет максимум трафика (например, главную), а потом двигаться к менее посещаемым страницам и разделам.
3. Постоянно шлифуйте сегменты
Один из самых базовых способов сегментации — деление на новых посетителей и тех, кто заходит на сайт повторно. Это хорошая отправная точка, но каждую из групп можно далее разбить на более точные сегменты. К примеру, повторных посетителей можно разбить на тех, кто совершил покупку и тех, кто пока так ничего и не купил. Также можно выделить в отдельный сегмент наиболее ценных клиентов: тех, кто покупает много, не бросает корзину на полпути и реже делает возвраты — по сравнению с теми, кто приходит просто посмотреть или, как говорят, “попинать по колесам”. Более четкие сегменты обеспечат вам более точные результаты.
4. Делайте поправку на активность посетителей и давность тестов
Покупатель, который заходит на сайт по несколько раз в неделю, и покупатель, который не был на сайте больше 3 месяцев, — это два разных персонажа. Несмотря на то, что юридически они оба заходят на сайт повторно, их поведение вероятнее всего будет отличаться.
5. Сегментируйте клиентов по потребительской ценности
Некоторые ваши клиенты обладают более высокой ценность с точки зрения бизнеса — и, конечно, под таких клиентов можно и нужно оптимизировать сайт. Начните с поиска так называемых “китов” — клиентов, которые приносят больше всего выручки. Так вы поймете, какие продукты пользуются у “китов” спросом и сможете выделить им особое место на сайте: например, поставить на главную или рекомендовать другим перспективным клиентам.
6. Учитывайте географию и погоду
Например, в некоторых штатах есть налоги на онлайн-покупки, а в других штатах таких налогов нет. Почему бы в качестве теста не попробовать показывать жителям штатов без налогов баннер, который будет подчеркивать, что покупка не облагается налогом? Да, это супер прозрачная тактика, но это сообщение может подтолкнуть посетителей потратить чуть больше.
Также рекомендуем использовать такую вещь как таргетинг по погоде. К примеру, наш посетитель живет в городе, где сейчас сильные снегопады. Вряд ли он будет искать на сайте мебель для террасы. Зато его, вероятно, заинтересуют скидки на зимнюю одежду и обогреватели.
7. Концентрируйтесь на целях тестирования, а не на процессе
Новички в области A/B тестирования часто не уделяют достаточно времени и сил проектированию теста. Он концентрируются на самом процессе — к примеру, какой размер или цвет кнопки наберет больше кликов — и забывают о глобальной цели тестирования. Если в начале тестирования вы не сформулировали ключевую гипотезу, сами по себе результаты тестирования не будут значить ничего. Тесты, запущенные ради процесса быстро теряют запал: у инициаторов просто заканчиваются идеи, что еще потестировать. Голой информации, что один вариант контента сработал эффективнее, чем другой в ходе A/B тестирования, как правило недостаточно.
- Каковы психологические последствия тестирования?
- Что оно может сообщить нам о данной группе пользователей?
- Как можно обобщить полученные уроки и использовать их для принятия обоснованных решений в рамках бизнеса?
Чем более продуманными и осмысленными будут ваши тесты, тем более значительный эффект они окажут на бизнес в целом.
8. Генерируйте свежие идеи
Люди часто “застревают” на одной стратегии тестирования или “прикипают” к одному конкретному типу теста. Те, кто имеет отношение к дизайну, часто “тонут” в тестировании бесконечных вариаций одного и того же дизайна интерфейса — даже если тестирование уже давно перестало приносить отдачу.
Если вы хотите, чтобы A/B тестирование приносило четкие и значимые результаты, пробуйте разные типы тестов. Каждый элемент сайта: акции, тексты, картинки, лейаут, пользовательский опыт — можно протестировать в разрезе любого сегмента. Почему бы этим не воспользоваться?
Одна финальная мысль
Один лишь факт, что тест приносит результаты, не означает, что он необходим. Тесты должны приносить одновременно и ценную информацию о пользователях, и идеи по укреплению и развитию бизнеса. Можно провести эксперимент по продаже дизайнерских футболок за 1 доллар — и результаты будут однозначно крутыми. Вот только означает ли это, что продажа товаров в огромный минус — это мудрое бизнес-решение? Конечно же нет. И все же множество людей принимают важные стратегические решения опираясь на данные явно пустых и ошибочных тестов.
В идеале A/B тесты должны не просто выявлять победителя или проигравшего — они должны подтверждать гипотезы бизнеса, выявлять новые продуктовые ниши и раскрывать новую информацию о людях, которые выбирают ваш продукт.
← Назад | Продолжение (Глава 12) →