(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Алекс Фитцжеральд, Со-основатель и CMO, Brave
Вплоть до конца 19 века весь рациональный мир верил в существование эфира — некой невидимой загадочной материи, которая окружает весь земной шар и несет в себе световые и звуковые волны. Ученые Альберт А. Майкельсон и Эдвард У. Морли решили применить собственную запатентованную технологию, чтобы раз и навсегда доказать существование эфира. К шоку ученых (и всего мира) эксперимент доказал обратное: что эфира не существует. Позже люди будут говорить об опыте Майкельсона-Морли как о самом известном “неудачном” эксперименте в истории. И пусть гипотеза ученых не подтвердилась, сам факт эксперимента заставил научный мир сомневаться в теории эфира и изменил взгляд людей на устройство вселенной — в результате чего Эйнштейн выдвинул свою теорию относительности, которая сегодня считается одним из двух столпов современной физики.
Майкельсон и Морли потерпели блестящую неудачу и вывели наше представление об экспериментах на новый уровень. Сегодня маркетологи говорят на том же языке, что и ученые, и используют в работе те же методы: начиная с гипотезы и заканчивая результатами эксперимента. И все же маркетологи, в погоне за убедительными результатами или конкретными, “нужными” выводами, часто не могут абстрагироваться от “черно-белых” результатов и стремятся в каждом тесте найти победителя и проигравшего. В реальности, однако, неудачных тестов не бывает, потому что выводы есть всегда.
Ниже мы поделимся надежной методикой тестирования, которая будет всегда приносить ценные данные. Кроме того, мы разберемся, почему не бывает неудачных тестов и проиллюстрируем это кейсами нескольких ведущих мировых eCommerce брендов.
Пора пересмотреть подход маркетологов к тестированию
Стандартный A/B тест обычно привязан к KPI. К примеру, если продавец хочет выяснить, какая стратегия товарных рекомендаций приносит больше добавлений в корзину — а следовательно и больше дохода — то ему важно понять, какая из вариаций генерирует больше действий. Тоесть, в общем и целом, маркетологи рассматривают тестирование как способ повышения дохода, а значит, если в ходе эксперимента не получается выявить победителя, способного изменить статус кво — такой эксперимент признается неудачным.
Но ведь из “неудачного” теста можно столько всего узнать! Каждый эксперимент приносит уникальный набор выводов — независимо от результата. Маркетологи должны раз и навсегда забыть концепцию “удачный/неудачный эксперимент” и переориентироваться на более научный подход к тестированию. Такой подход точно окупится в долгосрочной перспективе: вы не только сможете выжимать больше информации из будущих экспериментов, но и начнете лучше понимать клиентский опыт ваших пользователей — и сможете переосмыслить процесс его создания и совершенствования.
Продуманный подход к A/B тестированию
Научный опыт доказывает: маркетологи могут извлекать из любых экспериментов максимум пользы, если будут походить к тестированию системно и с методологией. И — хорошие новости! — мы выстроили собственную научную методику проведения A/B тестов. Это надежный алгоритм из семи шагов, который поможет извлечь из любого эксперимента ценную информацию и сделать грамотные выводы.
Шаг 1. Задайте вопрос
Что сподвигает нас на эксперименты? Мы задаем вопросы и ищем решение. Когда центральный вопрос определен, эксперимент можно начинать. Этот вопрос не только поможет сформулировать гипотезу — он будет отправной точкой для всех ваших предположений.
Давайте введем пример, чтобы этот и последующие шаги нашего алгоритма были вам понятны. Итак, центральный вопрос может быть таким: Если мы предложим новым пользователям скидку, увеличит ли это доход на пользователя?
Шаг 2. Превратите вопрос в гипотезу
Прежде чем формулировать гипотезу, поднимите все знания, которыми обладаете. Всё, что вы уже знаете о бизнесе или о клиентах, поможет более осмысленно подойти к тестированию и уточнить центральный вопрос еще до старта эксперимента. Если вы ранее уже тестировали эффективность скидок или других способов мотивации покупателей — сделайте корректировку на то, что удалось выяснить тогда.
Ситуация-пример
Известные данные. Допустим, вы когда-то узнали, что новые пользователи крайне чувствительны к ценам и редко заказывают больше чем на 60$. Значит, наиболее эффективно сработают скидки, которые позволят покупателям снизить свой чек до планки в 60$.
Условие. Пропишите условия эксперимента так, чтобы скидка доводила среднюю стоимость заказа до суммы меньше 60$. Скажем, для этого нужно дать скидку 10% и выше.
Гипотеза. Теперь, отталкиваясь от изначального вопроса и новых вводных, можно сформировать такую гипотезу: Скидка 10% и более для новых пользователей вероятно позволит увеличить доход на пользователя.
Шаг 3. Определите переменные
Теперь, когда вы уточнили основной вопрос, можно определить ключевые переменные. В любом эксперименте есть как минимум одна независимая переменная и одна зависимая. В нашем случае независимая переменная — это скидка, а зависимая — доход на пользователя, потому что скидка может влиять на доход. Контрольной вариацией в данном случае будет отсутствие скидки для новых пользователей.
Используйте переменные, которые понятно соотносятся с результатами эксперимента и позволяют сделать выводы на будущее. К примеру, в нашем случае можно протестировать скидки в 10%, 15% и 20% — каждая в качестве отдельной вариации в рамках одного теста — чтобы понять, имеет ли значение размер скидки, и стоит ли увеличить/уменьшить скидку в последующих тестах.
У нас осталась еще как минимум одна неопределенная переменная: состав аудитории. Новые пользователи могут приходить из самых разных источников: из органического поиска, из контекстной рекламы, прямыми переходами с других ресурсов и т.д. — и, конечно, пользователи, прибывшие на сайт разными путями, могут по-разному реагировать на эксперимент.
Кроме того, мы рекомендуем еще до старта эксперимента продумать, как вы будете отслеживать его влияние на важные сегменты аудитории. Мы также рекомендуем в ходе тестирования ориентироваться только на те переменные, которые действительно имеют отношение к вашему эксперименту.
Шаг 4. Продумайте адекватный метод измерения
Отсутствие значительного скачка по показателям ≠ неудачный тест. Тест можно считать неудачным, только если вы халатно подошли к процессу подготовки и, как итог, получили ненадежные или нечитаемые результаты.
Если вы подозреваете, что эксперимент влияет на несколько зависимых переменных, обязательно продумайте заранее, как будете измерять влияние на каждую из них — так вы сможете добиться максимально точных результатов.
Шаг 5. Проведите эксперимент
Теперь, когда вы определили (1)основной вопрос, (2)набор переменных и (3)способ измерения результатов, пора переходить непосредственно к (4)тестированию. Рекомендуем крутить тест как минимум 30 дней, чтобы добиться статистически значимых результатов. Учитывайте также вариативность вашей аудитории — например, по тем же по источникам трафика; даже когда эксперимент в целом достигнет статистической значимости, в разрезе конкретных групп посетителей может понадобиться больше времени для получения значимых результатов.
Шаг 6. Оцените результаты
Важно помнить, что суть тестирования не только в увеличении дохода, но и в приобретении ценных знаний. Из каждого эксперимента нужно извлекать максимум выводов и идей, которые позволят в будущем проводить тесты более эффективно. Только так вы сможете уверенно и планомерно наращивать доход через тестирование. Не столь важно, завершился ли эксперимент ростом или падением показателей — важно насколько точной была ваша гипотеза и подтвердилась ли она.
Вот несколько вопросов, которые можно задать себе по завершении эксперимента:
- Все ли пользователи отреагировали на эксперимент одинаково?
- Результаты выявили какие-то неожиданные переменные?
- Есть ли какие-то дополнительные зависимые переменные (например, коэффициент конверсии)?
- Как размер переменной отразился на результате (например, принесла ли скидка в 10% другие результаты, нежели скидка в 20%?)
Шаг 7. Оптимизируйте свою кампанию
Тщательно проанализировав и оценив результаты, вы должны получить ответ на основной вопрос, поставленный на первом шаге. Используйте полученные выводы для планирования следующих шагов: вы можете решить сразу внедрить успешную практику в вашу маркетинговую стратегию или, возможно, придете к выводу, что нужны дополнительные, более прицельные тесты. Любые выводы относительно отклика аудитории и влияния каждой независимой переменной на KPI пригодятся вам для создания и корректировки других экспериментов — более персонализированных и прицельных.
Откапываем истинные результаты каждого тестирования
Теперь, когда у вас на руках есть все инструменты для проведения экспериментов, давайте глубже погрузимся в тему оценки результатов. Иногда эксперименты проходят вничью — то есть не выявляют никакой значимой разницы между базой и вариациями. Таких сценариев маркетологи часто боятся, а зря: ничья — это еще один шанс добыть ценные знания. Может быть множество причин, почему тест вышел в ничью: время, размер аудитории или какая-нибудь неучтенная переменная. На самом деле, даже если вариация в тесте не обошла базу — а то и вовсе ей проиграла — в конечном итоге это поможет вам нащупать ту вариацию, которая обеспечит рост KPI.
Масштаб потенциального роста зависит от масштаба изменений, а большие изменения — это всегда страшно, ведь они открывают двери потенциально отрицательным результатам. Но не нужно бояться рисковать — иначе ваш бизнес никогда не сможет значительно трансформироваться и вырасти. Имейте в виду, что редкий тест заканчивается ничьей для всех и каждого. Всегда есть сегмент аудитории, который реагирует на изменения положительно — нужно просто понять, что это за люди. Относитесь к экспериментам с оптимизмом и помните: любая кампания по персонализации от разумного риска только выиграет, а результаты полученные в итоге будут бесценны.
Кейс: Как компания Chal-Tec превратила риски в дивиденды
Давайте рассмотрим кейс компании Chal-Tec, крупного онлайн-ритейлера товаров разных категорий. Chal-Tec начинал как специализированный онлайн-магазин оборудования для диджеев, но со временем ассортимент бизнеса расширился до множества категорий. Расширение ассортимента в целом положительно сказалось на доходе, но компания поняла, что теряет контакт с ключевой аудиторией любителей диджеинга.
Однако Chal-Tec смог вернуть любовь этой аудитории. Они запустили масштабный эксперимент в рамках целого сайта, в ходе которого пользователям-диджеям показывалась персонализированная версия всего контента: от логотипа магазина до навигации. По масштабу этих изменений было понятно: результаты — хоть позитивные, хоть негативные — точно будут выдающимися.
Компания вложила время и ресурсы в создание такого крупного теста, чтобы получить четкие и однозначные выводы, на основе которых можно было бы скорректировать их маркетинговую стратегию и подходы к построению клиентского опыта:
- Если бы тест показал отрицательный результат (или ничью), это было бы стимулом для компании пересмотреть свои представления об аудитории в целом и выделить отдельные сегменты покупателей, кому вариация пришлась бы по вкусу
- Положительные результаты подтвердили бы, что компании нужно двигаться в сторону персонализации под любителей диджеинга.
В итоге тест принес великолепные результаты: эффективность выросла на 37%. Для компании вроде Chal-tec это бесценные знания не только в рамках самого эксперимента, но и в масштабе всего бизнеса: теперь Chal-tec умеет использовать персонализацию, чтобы выжить на рынке в эру Amazon.
Еще несколько кейсов о том, как неожиданные (“неудачные”) результаты принесли огромный эффект
Мы реализовывали эксперименты для более чем 350 глобальных брендов — и повидали немало “неудачных” тестов. А еще мы видели, как неожиданные результаты порой работают на пользу команде.
Кейс 1. Американский производитель нижнего белья выяснил, как эффективнее распределять маркетинговый бюджет
Производитель переживал, что контент на главной странице сайта устарел. Компания выделила деньги на проведение серии качественных фотосессий, что позволило обновлять контент на сайте по несколько раз в месяц. Далее они решили провести эксперимент, чтобы доказать рентабельность вложений в фото. A/B тест крутился два месяца, и все это время посетители сайта делились на две группы.
Механика теста была следующая:
- Контрольная версия: обновление контента 1 раз в месяц
- Вариация: обновление контента 2 раза в месяц
В итоге компания с удивлением обнаружила, что вариация не принесла никакого роста дохода по отношению к контрольной версии. Вместо того, чтобы просто объявить тест “неудачным”, компания пересмотрела свои предположения относительно ценности свежего контента на сайте и решила больше не вкладывать так много в фотографии. Поэтому, хотя тест напрямую не повлиял на уровень дохода, он дал подсказку, как стоит пересмотреть маркетинговые расходы.
Кейс 2. Американский производитель модной одежды выяснил, как эффективнее использовать скидочные коды
Один американский лейбл одежды решил устроить акцию и предлагать всем покупателям из Австралии скидочный код на 10%. Акция реализовывалась через простое уведомление с купоном внутри.
Гипотеза состояла в том, что скидка 10% поможет поднять конверсию и увеличить средний доход на пользователя (ARPU) на 5-10%. На деле же конверсия упала на 23%. Маркетологи начали разбираться и выяснили, что в тесте была еще одна переменная. Выяснилось, что хотя в целом акция “не зашла”, те пользователи, которые сначала прочитали о скидке на сайте партнера, а потом перешли на сайт и увидели уведомление, очень хорошо среагировали на скидку. В результате, компания провела эксперимент с акцией повторно — в этот раз только для реферального трафика — и получила 14% рост дохода.
Пересматривайте свои предположения
Пусть неудачные тесты подталкивают вас постоянно пересматривать предположения, на которые вы опирались ранее. Неудачные тесты — это индикатор того, что вы далеки от реальности; своевременная корректировка поможет принимать более качественные бизнес-решения. При каждом тестировании будьте морально готовы получить негативные результаты или ничью. Разбирайтесь, почему так получилось, исследуйте аудиторию сегмент за сегментом и выстраивайте процессы, которые помогут быстро выявлять, почему тот или иной эксперимент принес именно такие результаты. Будьте готовы к неожиданным итогам и помните: иногда самые неожиданные результаты имеют самый значительный эффект.
← Назад | Продолжение (Глава 14) →