heart Created with Sketch. test
Курс «Коммуникации, основанные на данных»

Фреймворк для проведения экспериментов и кампаний по персонализации | Глава 4

Масштабируемый фреймворк для проведения экспериментов и персонализации, про который пойдет речь в этой статье, уже применяют лидеры отрасли. С его помощью ребята достигают крутых результатов в долгосрочной перспективе и в разрезе всей организации.

(Перед вами перевод бесплатного курса Коммуникации, основанные на данных: персонализация пользовательского опыта и поведенческий таргетинг от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)

Автор английской версии: Шана Пилевски, директор по маркетингу, Dynamic Yield

Над переводом работали Оля Жолудова и Ринат ШайхутдиновПри поддержке koptelnya.ru.

Коптельня  —  команда по быстрой разработке веб-приложений и сайтов.

 У каждой организации свои процессы и подходы к работе, в том числе и во всем, что касается персонализации. Опытные компании, которые “в игре” уже давно, часто придерживаются более строгих процессов внедрения персонализированных опытов, в то время как новички часто подходят к вопросу более гибко и неформально. 

И все же есть ряд важных шагов, выполнение которых необходимо, если компания надеется на стабильный, масштабируемый рост. Мы успели поработать с множеством партнеров и клиентов и разработали собственный фреймворк, который поможет эффективно достичь поставленных целей персонализации.

ФазаШаги
АнализируемФормируем инсайты
Анализируем существующие данные и выявляем потенциальные возможности
ШтурмимГенерируем идеи
Формируем концепции на базе ключевых инсайтов 
ОпределяемФормулируем гипотезы и цели 
1. Обозначаем желаемые результаты по каждой идее
2. Определяем цели и KPI на основании потребностей бизнеса
ПланируемПриоритезируем
Расставляем приоритеты экспериментов из роадмапа тестирования в зависимости от ожидаемого эффекта и необходимых ресурсов 

Определяем
Определяем параметры и условия экспериментов на основании KPI, стратегии, таргетинга, сегментации и продолжительности
РазрабатываемРазрабатываем
Разрабатываем намеченный опыт взаимодействия, отталкиваясь от визуальных и технических требований

Проверяем качество и внедряем
1. Проверяем, отвечает ли эксперимент требованиям, обозначенным на стадии разработки
2. После того, как технические и бизнес-специалисты дали зеленый свет, реализуем опыт взаимодействия
ОптимизируемПодтверждаем 
Оцениваем, насколько новый опыт лучше контрольного, и достигнута ли статистическая значимость 

Оптимизируем и тестируем
1. Обновляем эксперименты на основании количественных и качественных данных 
2. Проанализировав результаты и выводы по предыдущим экспериментам, придумываем и запускаем новые.

Как видите, по каждой фазе мы выделили ключевые шаги. Чтобы запуск кампании по персонализации прошел успешно, на эти шаги следует обратить особое внимание. Под каждую фазу компания выделяет одного или нескольких специалистов — в зависимости от того, какие знания и навыки необходимы для решения задач. В прошлой статье мы подробно разбирали какие роли можно выделить в рамках любой программы по персонализации. Например, все задачи, связанные с данными, находятся в ведении специалиста, ответственного за Оптимизацию и Аналитику (Optimization & Analytics Role). 

Если правильно сгруппировать задачи, распределить обязанности и разграничить зоны ответственности, можно рассчитывать на значимые результаты. Теперь давайте посмотрим, как это все могло бы выглядеть на практике. 

Шаблон плана эксперимента

  1. Формируем инсайт: 37% дохода приходит от мобильных пользователей, но на этом устройстве показатель ниже среднего
  2. Формулируем гипотезу и цель: Если добавить на страницу корзины рекомендации, оптимизированные под мобильные устройства, это увеличит средний доход на пользователя (ARPU) на X%. 
  3. Генерируем идею: Использовать разные стратегии рекомендаций и исключить недорогие товары.
  4. Приоритизируем: Затраты на разработку низкие, бизнес-эффект — высокий (второе место в очереди на тестирование) 
  5. Определяем: Опыт будет показываться мобильным пользователям на продуктовой странице (PDP) если пользователь проведет на ней больше 1 минуты (продолжительность теста — 1 месяц) 
  6. Разрабатываем: Оптимизировать виджеты рекомендаций — добавить пагинацию и бесконечный скролл. 
  7. Проверяем качество и внедряем: Все требования соблюдены за 2 дня до запланированной даты запуска. 
  8. Подтверждаем: Вариация А принесла рост X% и объявлена победителем на основании уровня статистической значимости 95% относительно контрольной вариации. 
  9. Оптимизируем и тестируем: Настроить стратегии для каждого слота виджета рекомендаций и запустить новый тест

В этом примере руководитель активно вовлечен во все этапы процесса. Впрочем, бывают и другие кейсы персонализации, где руководитель не участвует в процессе от А до Я, а просто помогает и координирует по мере необходимости.

На этапах, когда в процесс вовлечено сразу несколько специалистов, один из них может занять роль “дирижера” и следить за продвижением проекта в рамках своей фазы. Так что если вы правильно расписали обязанности, переход от одного шага к другому также должен проходить плавно. 

Этот фреймворк можно использовать как базу, которую вы, в рамках своей компании, можете смело корректировать и уточнять (со временем вы обязательно найдете, что скорректировать). Главное — понимать, что у каждого шага есть определенная цель, и не нарушать целостность структуры фреймворка. 

Как использовать шаблон «Планирование эксперимента» 

Убедившись, что все специалисты знают свои роли и понимают общий алгоритм (flow), можете сделать первую попытку запустить процесс. 

Шаг 1. Проанализируйте свои данные, чтобы выявить инсайты и возможности 

Роль: Оптимизация и аналитика (Optimization & Analytics Role)

У компаний бывают похожие цели (например, цель “увеличить доход”), но все же каждый кейс уникален. Что хорошо работает на одном сайте и для одной аудитории, не принесет никакого эффекта в других условиях. Поэтому так важно залезать в данные — это позволяет более осознанно и взвешенно решить, какие эксперименты стоит включить в роадмап тестирования. 

Для начала попробуйте найти болевые точки (pain points) в аналитике сайта. Ищите области, где трафик высокий, а эффективность (performance) — низкая; эти области стоит оптимизировать в первую очередь. 

Ищите подобные тренды: 

Возможен и сценарий оптимизации под аудиторию, когда мы выявляем наиболее весомые сегменты и строим опыт взаимодействия вокруг них. В результате анализа трафика вы можете обнаружить, например, большую группу людей с определенными демографическими признаками или, скажем, наплыв посетителей с определенного источника трафика. 

Старайтесь отмечать интересные закономерности и переменные — это поможет придумать наиболее эффективные подходы к посетителям в разрезе важных сегментов, таких как: 

Шаг 3. Наштурмите идей и концепций для тестирования

Роль: Мультидисциплинарный подход (Multidisciplinary)

Плохих идей не бывает!

Регулярно проводите мозговые штурмы. Зовите на них коллег и стейкхолдеров из самых разных отделов. Призывайте их обмениваться знаниями и идеями, думать шире и смелее. Обсуждайте идеи, собранные в ходе анализа (Шаг 1), или придумывайте новые. Тогда ваш источник идей для A/B тестирования никогда не иссякнет. 

Сам мозговой штурм можно построить следующим образом. Для начала соберите список всех категорий, которые сможете протестировать. Далее, сопоставьте этот список со списком тестов, которые cможете провести. Этот процесс “приземлит” участников штурма, вернет их из плоскости идей в реальный мир, где у каждого эксперимента есть своя цена. Плюс, если вы случайно проглядели какой-то перспективный эксперимент, на этом этапе он всплывет. 

Категории для потенциального тестирования могут быть такими: 

Кроме того, рекомендуем в процессе штурма не концентрироваться на вопросе “что?”, а вместо этого хорошенько продумать “зачем?”. Например, предположение, что новый баннер на главной поможет повысить число кликов — это типичное “что?”. И если за этим “что?” не стоит продуманного “зачем?”, результаты теста будут иметь никакой ценности. Если ваша программа по персонализации строится на подобном предположении, она быстро потеряет импульс. Впрочем, о правильном формулировании гипотез мы сейчас поговорим. 

Шаг 3. Под каждую идею сформулируйте гипотезу и определите KPI

Роль: Маркетинг и мерчандайзинг (Marketing & Mechandising Role)

Роль: Оптимизация и аналитика (Optimization & Analytics Role)

Вот тут-то и начинается самое веселье! Нам нужно предположить, какие изменения на сайте обеспечат нам желаемое поведение пользователей. Такие предположения называются гипотезами. Вот одна из удачных формул гипотезы: 

На основании [НАБЛЮДЕНИЯ], я уверен(а), что если мы внесем [ПРЕДЛАГАЕМОЕ ИЗМЕНЕНИЕ], это увеличит [ОСНОВНУЮ МЕТРИКУ ТЕСТИРОВАНИЯ]. 

Не стоит путать гипотезы с фактами. Это не факты, а предположения, основанные на анализе данных и прошлых наблюдениях. Каждая гипотеза — это отправная точка для процесса оптимизации. 

Гипотезы тесно связаны с целями тестирования, то есть с тем самым “зачем?”. Как правило, за каждой гипотезой стоит какая-то бизнес-цель, связанная с деятельностью компании в интернете — поэтому мы должны четко представлять, каких результатов ждем от от каждого запущенного опыта взаимодействия. 

К примеру, цель интернет-магазина — продавать продукты и, как результат, развивать бизнес и наращивать оборот. Под цель “увеличить онлайн продажи” можно подобрать ряд конкретных KPI. 

Примеры изменений, которые могут быть предложены в рамках экспериментов: 

Основной метрикой может быть: 

С другой стороны, если у вас не интернет-магазин, а новостной сайт, и ваша цель — повысить лояльность читателей, KPI могут быть другими: 

В результате шагов 2 и 3, у вас должен получиться примерно такой список: 

КатегорияКтоЧтоКогдаГдеПочему
ЛейаутПовторные посетителиАвто-фильтровать новые продуктыЛендинг (landing page)На этой неделеКонтент/ открытие продукта (Product Discovery)
ЛейаутМужчиныПоказывать контент и продукты, актуальные для мужчинЛендинг (landing page)На следующей неделеКоэффициент добавлений в корзину
ОфферПодписчики DormantКупон на скидку 15%, когда пользователь собирается уйти с сайта (exit intent)Главная страница (Homepage)В следующем месяцеУвеличить среднюю стоимость заказа (average order value, AOV)
ОфферНовые посетителиКупон на скидку 15% после подписки на рассылкуГлавная страница (Homepage)В следующем месяцеКоэффициент подписок (subscription rate)
ОверлейВсе посетителиСообщение с социальным доказательствомЛендинг (landing page)Через 2 месяцаКоэффициент добавлений в корзину (add to cart rate)
ОверлейВсе посетителиПлавающая иконка корзины (floating cart)Продуктовая страница (Product Detail Page, PDP)Через 2 месяцаКоэффициент оплаты (checkout rate)
БаннерВсе посетителиКонтент в зависимости от погоды в регионе посетителяВерхний баннер (Top banner)Через 3 месяцаКоэффициент кликабельности (clickthrough rate)
Правила мерчандайзингаПовторные посетителиРекомендация на основании последней покупкиПродуктовая страница (Product Detail Page, PDP)Через 4 месяцаКонтент/ открытие продукта (Product discovery)

При помощи такой таблички здорово проверять идеи, чтобы потом добавлять их в роадмап тестирования (testing roadmap). 

Шаг 4. Отсортируйте потенциальные идеи для тестирования по приоритетности

Роль: Комплекс дисциплин (Multidisciplinary)

Бывает, что какой-то эксперимент так и засядет в голове, и ты предвкушаешь, какие результаты он принесет и забываешь обо всем на свете. Но все же, прежде чем жать на кнопку запуска, важно взвесить потенциальный эффект от каждого эксперимента и затраты на его проведение. Иначе можно впустую потратить бесценное время и энергию на кампанию, далекую от реальности или практически бесполезную с точки зрения бизнеса — что ставит под вопрос не только сам эксперимент, но и судьбу всей программы по персонализации. 

Методология, которую мы приводим ниже, поможет правильно приоритизировать идеи, чтобы выжать из каждой кампании максимум результатов. 

Эффект (Impact) 

Оценивается в комплексе; для оценки можно использовать следующие значения: Очень высокий, Высокий или Средний

Затраты (Effort) 

Оценивается в комплексе; для оценки можно использовать следующие значения: Высокие, Средние или Низкие

Когда проведете оценку всех этих факторов, проанализируйте результаты и расположите каждую идею на матрице эффекта/затрат (impact vs. effort matrix).

В качестве примера кампании по персонализации с высоким эффектом и низкими затратами можно привести кампанию построенную на эффекте социального доказательства. Социальное доказательство — это когда мы демонстрируем посетителю количество просмотров, добавлений в корзину или покупок конкретного продукта другими пользователями. Обычно этот эффект помогает придать уверенности тревожным пользователям и превратить их в уверенных покупателей. Учитывая минимальные усилия по разработке, кампании, построенные на социальном доказательстве, бывают очень эффективными. 

Возьмите себе за правило: 

В итоге у вас будет этакая шкала оценки (scorecard) для приоритизации кампаний. Количество доступного времени и ресурсов обычно зависит от зрелости персонализации в компании, но приоритизация тестов в любом случае полезна, так как помогает укоротить циклы дизайна и разработки и повысить эффективность реализации кампаний. Когда эксперимент не вписывается в график тестирования (testing schedule) это всегда приводит к срыву дедлайнов, в результате чего информация о пользователях устаревает, а полученные результаты можно поставить под сомнение. Не говоря уже о том, что страдает клиентский опыт (customer experience).

Этот Шаблон приоритизации для управления программой по персонализации поможет из кучи идей кампаний собрать четкий и эффективный план действий. 

Теперь, когда у вас на руках есть список отсортированных идей, особенности каждой кампании нужно описать в брифе тестирования (test brief). Часть информации для этого документа мы уже собрали на предыдущих шагах. Кроме того, нам нужно описать несколько важных моментов для реализации теста, таких как параметры тестирования (test parameters), аудитория (audience), сроки (timeline) и т.д. 

Ключевые стейкхолдеры составляют каждый бриф совместно, а впоследствии используют его как точку отсчета для всего, что связано с реализацией эксперимента: подходов, сроков, индивидуальной ответственности участников при запуске, валидации и этапов оптимизации. 

После этого официально начинается сборка.

Шаг 5. Разработайте желаемый пользовательский опыт 

Роль: Комплекс дисциплин (Multidisciplinary)

На этом этапе креативные и технические специалисты объединяют усилия, чтобы создать сам пользовательский опыт, в том виде, в каком вы его запланировали. Чтобы “наметить” (то есть представить в черновом виде), как будет выглядеть финальный эксперимент, обычно используют такой процесс: 

Один только этот процесс может занять несколько недель, а то и месяцев, в зависимости от эффективности процессов. Именно поэтому так важно создавать культуру экспериментирования в компании — это дает возможность быстро масштабировать программы по персонализации. Еще один способ укоротить циклы дизайна и разработки и помочь маркетингу ускорить доставку клиентского опыта — это создание шаблонов кампаний.

После того, как вы разработали клиентский опыт, его нужно проверить и убедиться, что все требования соблюдены. Параллельно можно провести контроль качества: 

Конечно, на следующих этапах может потребоваться дальнейший контроль качества. 

Шаг 6. Оцените и оптимизируйте

После запуска эксперимента, за ним нужно пристально наблюдать, анализировать, оптимизировать — эти действия не менее важны для успеха кампании, чем все подготовительные мероприятия вместе взятые. Разумеется, мы приступаем к анализу и оптимизации только когда эксперимент достигает статистической значимости

Длительность эксперимента, необходимая для получения адекватных результатов, будет зависеть от размера выборки и от количества вариаций, но минимальное рекомендованное время — две недели. В время эксперимента у вас постоянно будет соблазн приписать изменения в KPI какой-то конкретной вариации опыта, но обоснованный вывод можно будет сделать только после достижения определенного порога. Поспешные выводы могут привести к неверным решениям, основанным на некорректных данных.

Чтобы рассчитать нужные размеры выборок, опирайтесь на следующие переменные: 

Базовый коэффициент конверсии (Baseline conversion rate) — текущий коэффициент конверсии (количество успешных действий поделенное на количество посетителей, сессий или просмотров) для тестируемого опыта. 

Ожидаемый рост коэффициента конверсии (Expected uplift in conversion rate) — прогнозируемое процентное изменение коэффициента конверсии относительно базового коэффициента. К примеру, если базовый коэффициент конверсии составляет 2,5%, то 5%-ный ожидаемый прирост обещает нам новый коэффициент конверсии — 2,625%. 

Количество вариаций (Number of variations) — количество вариаций, участвующих в одном тесте. 

Средний размер выборки в день (Average sample size per day) — количество посетителей, которые будут участвовать в эксперименте в течение дня.

Кроме того, вы можете воспользоваться этим Байесовским калькулятором для расчета размера выборки и продолжительности A/B теста

Когда эксперимент официально закончен, можно собрать ценные инсайты, чтобы лучше понять причины полученных результатов. Фиксируйте эти инсайты — они пригодятся для дальнейшей проработки различных профилей аудитории, модификации экспериментов и оптимизации действующих кампаний — а также для проведения совершенно новых тестов.  

А теперь обратно к первому шагу! 

Работы по персонализации — цикличны, а значит, когда заканчивается один тест, компания снова оказывается в начале фреймворка, где снова нужно анализировать собранные данные, штурмить новые идеи, формулировать гипотезы для новых опытов или изменения существующих и так далее. Каждый раз, когда команда проходит вышеописанный цикл по новой, процессы оттачиваются, становятся более эффективными — и в результате формируется хорошо-смазанный механизм персонализации, который обеспечивает всей компании в целом масштабируемые и значимые результаты. 

Конечно, со временем программа будет меняться и адаптироваться к потребностям конкретной организации. Но сам фреймворк персонализации можно считать “путеводной звездой” для всех, кто хочет переоценить и усовершенствовать свою работу.


Назад | Продолжение (Глава 5)


Курс «Коммуникации, основанные на данных»