(Перед вами перевод бесплатного курса Коммуникации, основанные на данных: персонализация пользовательского опыта и поведенческий таргетинг от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Шана Пилевски, директор по маркетингу, Dynamic Yield
Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.
Коптельня — команда по быстрой разработке веб-приложений и сайтов.
У каждой организации свои процессы и подходы к работе, в том числе и во всем, что касается персонализации. Опытные компании, которые “в игре” уже давно, часто придерживаются более строгих процессов внедрения персонализированных опытов, в то время как новички часто подходят к вопросу более гибко и неформально.
И все же есть ряд важных шагов, выполнение которых необходимо, если компания надеется на стабильный, масштабируемый рост. Мы успели поработать с множеством партнеров и клиентов и разработали собственный фреймворк, который поможет эффективно достичь поставленных целей персонализации.
| Фаза | Шаги |
|---|---|
| Анализируем | Формируем инсайты Анализируем существующие данные и выявляем потенциальные возможности |
| Штурмим | Генерируем идеи Формируем концепции на базе ключевых инсайтов |
| Определяем | Формулируем гипотезы и цели 1. Обозначаем желаемые результаты по каждой идее 2. Определяем цели и KPI на основании потребностей бизнеса |
| Планируем | Приоритезируем Расставляем приоритеты экспериментов из роадмапа тестирования в зависимости от ожидаемого эффекта и необходимых ресурсов Определяем Определяем параметры и условия экспериментов на основании KPI, стратегии, таргетинга, сегментации и продолжительности |
| Разрабатываем | Разрабатываем Разрабатываем намеченный опыт взаимодействия, отталкиваясь от визуальных и технических требований Проверяем качество и внедряем 1. Проверяем, отвечает ли эксперимент требованиям, обозначенным на стадии разработки 2. После того, как технические и бизнес-специалисты дали зеленый свет, реализуем опыт взаимодействия |
| Оптимизируем | Подтверждаем Оцениваем, насколько новый опыт лучше контрольного, и достигнута ли статистическая значимость Оптимизируем и тестируем 1. Обновляем эксперименты на основании количественных и качественных данных 2. Проанализировав результаты и выводы по предыдущим экспериментам, придумываем и запускаем новые. |
Как видите, по каждой фазе мы выделили ключевые шаги. Чтобы запуск кампании по персонализации прошел успешно, на эти шаги следует обратить особое внимание. Под каждую фазу компания выделяет одного или нескольких специалистов — в зависимости от того, какие знания и навыки необходимы для решения задач. В прошлой статье мы подробно разбирали какие роли можно выделить в рамках любой программы по персонализации. Например, все задачи, связанные с данными, находятся в ведении специалиста, ответственного за Оптимизацию и Аналитику (Optimization & Analytics Role).
Если правильно сгруппировать задачи, распределить обязанности и разграничить зоны ответственности, можно рассчитывать на значимые результаты. Теперь давайте посмотрим, как это все могло бы выглядеть на практике.
Шаблон плана эксперимента
- Формируем инсайт: 37% дохода приходит от мобильных пользователей, но на этом устройстве показатель ниже среднего
- Формулируем гипотезу и цель: Если добавить на страницу корзины рекомендации, оптимизированные под мобильные устройства, это увеличит средний доход на пользователя (ARPU) на X%.
- Генерируем идею: Использовать разные стратегии рекомендаций и исключить недорогие товары.
- Приоритизируем: Затраты на разработку низкие, бизнес-эффект — высокий (второе место в очереди на тестирование)
- Определяем: Опыт будет показываться мобильным пользователям на продуктовой странице (PDP) если пользователь проведет на ней больше 1 минуты (продолжительность теста — 1 месяц)
- Разрабатываем: Оптимизировать виджеты рекомендаций — добавить пагинацию и бесконечный скролл.
- Проверяем качество и внедряем: Все требования соблюдены за 2 дня до запланированной даты запуска.
- Подтверждаем: Вариация А принесла рост X% и объявлена победителем на основании уровня статистической значимости 95% относительно контрольной вариации.
- Оптимизируем и тестируем: Настроить стратегии для каждого слота виджета рекомендаций и запустить новый тест
В этом примере руководитель активно вовлечен во все этапы процесса. Впрочем, бывают и другие кейсы персонализации, где руководитель не участвует в процессе от А до Я, а просто помогает и координирует по мере необходимости.
На этапах, когда в процесс вовлечено сразу несколько специалистов, один из них может занять роль “дирижера” и следить за продвижением проекта в рамках своей фазы. Так что если вы правильно расписали обязанности, переход от одного шага к другому также должен проходить плавно.
Этот фреймворк можно использовать как базу, которую вы, в рамках своей компании, можете смело корректировать и уточнять (со временем вы обязательно найдете, что скорректировать). Главное — понимать, что у каждого шага есть определенная цель, и не нарушать целостность структуры фреймворка.
Как использовать шаблон «Планирование эксперимента»
Убедившись, что все специалисты знают свои роли и понимают общий алгоритм (flow), можете сделать первую попытку запустить процесс.
Шаг 1. Проанализируйте свои данные, чтобы выявить инсайты и возможности
Роль: Оптимизация и аналитика (Optimization & Analytics Role)
У компаний бывают похожие цели (например, цель “увеличить доход”), но все же каждый кейс уникален. Что хорошо работает на одном сайте и для одной аудитории, не принесет никакого эффекта в других условиях. Поэтому так важно залезать в данные — это позволяет более осознанно и взвешенно решить, какие эксперименты стоит включить в роадмап тестирования.
Для начала попробуйте найти болевые точки (pain points) в аналитике сайта. Ищите области, где трафик высокий, а эффективность (performance) — низкая; эти области стоит оптимизировать в первую очередь.
Ищите подобные тренды:
- Высокие показатели отказов (bounce rates) и выходов (exit rates) на продуктовых страницах или в корзине
- Низкая ценность сессии (session value) на мобильных устройствах
- Низкая ценность сессии (session value) в определенной возрастной группе/ по половому признаку
- Низкая ценность сессии (session value) по выходным и вечером
Возможен и сценарий оптимизации под аудиторию, когда мы выявляем наиболее весомые сегменты и строим опыт взаимодействия вокруг них. В результате анализа трафика вы можете обнаружить, например, большую группу людей с определенными демографическими признаками или, скажем, наплыв посетителей с определенного источника трафика.
Старайтесь отмечать интересные закономерности и переменные — это поможет придумать наиболее эффективные подходы к посетителям в разрезе важных сегментов, таких как:
- Пол
- Продуктовая категория
- Местоположение
- Источники трафика
- Ценовые диапазоны (Price bands)
- Чувствительность к цене (Price sensitivity)
- Лояльность к бренду
Шаг 3. Наштурмите идей и концепций для тестирования
Роль: Мультидисциплинарный подход (Multidisciplinary)
Плохих идей не бывает!
Регулярно проводите мозговые штурмы. Зовите на них коллег и стейкхолдеров из самых разных отделов. Призывайте их обмениваться знаниями и идеями, думать шире и смелее. Обсуждайте идеи, собранные в ходе анализа (Шаг 1), или придумывайте новые. Тогда ваш источник идей для A/B тестирования никогда не иссякнет.
Сам мозговой штурм можно построить следующим образом. Для начала соберите список всех категорий, которые сможете протестировать. Далее, сопоставьте этот список со списком тестов, которые cможете провести. Этот процесс “приземлит” участников штурма, вернет их из плоскости идей в реальный мир, где у каждого эксперимента есть своя цена. Плюс, если вы случайно проглядели какой-то перспективный эксперимент, на этом этапе он всплывет.
Категории для потенциального тестирования могут быть такими:
- Баннеры
- Контент
- Лейаут (layout)
- Офферы
- Плашки-оверлеи (Overlays)
- Email-рассылки
- Push-уведомления
- Правила мерчандайзинга (Merchandising Rules)
- Сообщения на сайте
- Стратегии рекомендаций
Кроме того, рекомендуем в процессе штурма не концентрироваться на вопросе “что?”, а вместо этого хорошенько продумать “зачем?”. Например, предположение, что новый баннер на главной поможет повысить число кликов — это типичное “что?”. И если за этим “что?” не стоит продуманного “зачем?”, результаты теста будут иметь никакой ценности. Если ваша программа по персонализации строится на подобном предположении, она быстро потеряет импульс. Впрочем, о правильном формулировании гипотез мы сейчас поговорим.
Шаг 3. Под каждую идею сформулируйте гипотезу и определите KPI
Роль: Маркетинг и мерчандайзинг (Marketing & Mechandising Role)
Роль: Оптимизация и аналитика (Optimization & Analytics Role)
Вот тут-то и начинается самое веселье! Нам нужно предположить, какие изменения на сайте обеспечат нам желаемое поведение пользователей. Такие предположения называются гипотезами. Вот одна из удачных формул гипотезы:
На основании [НАБЛЮДЕНИЯ], я уверен(а), что если мы внесем [ПРЕДЛАГАЕМОЕ ИЗМЕНЕНИЕ], это увеличит [ОСНОВНУЮ МЕТРИКУ ТЕСТИРОВАНИЯ].
Не стоит путать гипотезы с фактами. Это не факты, а предположения, основанные на анализе данных и прошлых наблюдениях. Каждая гипотеза — это отправная точка для процесса оптимизации.
Гипотезы тесно связаны с целями тестирования, то есть с тем самым “зачем?”. Как правило, за каждой гипотезой стоит какая-то бизнес-цель, связанная с деятельностью компании в интернете — поэтому мы должны четко представлять, каких результатов ждем от от каждого запущенного опыта взаимодействия.
К примеру, цель интернет-магазина — продавать продукты и, как результат, развивать бизнес и наращивать оборот. Под цель “увеличить онлайн продажи” можно подобрать ряд конкретных KPI.
Примеры изменений, которые могут быть предложены в рамках экспериментов:
- Добавить на десктопную/мобильную версию сайта социальное доказательство
- Протестировать рекомендации на продуктовых страницах (PDP) на десктопной/мобильной версии сайта
- Персонализировать ключевые баннеры (hero banners) на главной странице
- Добавить поведенческий попап, который появляется, когда пользователь собрался уходить с сайта (exit-intent popup)
- Добавить уведомление о пороге бесплатной доставки (free shipping threshold)
Основной метрикой может быть:
- Коэффициент конверсии (Conversion rate)
- Средняя стоимость заказа (Average order value)
- Средний доход на пользователя (Average revenue per user)
- Месячный доход (Monthly revenue)
- Повторные покупки (Repeat purchases)
- Коэффициент кликабельности (Click-through rate)
- Коэффициент выходов (Exit rate)
С другой стороны, если у вас не интернет-магазин, а новостной сайт, и ваша цель — повысить лояльность читателей, KPI могут быть другими:
- Коэффициент отказов (Bounce rate)
- Среднее количество страниц, просмотренных за посещение (Average pages per visit)
- Вовлеченность на страницах со статьям — например, воспроизведение видео (Engagement with article pages)
- Среднее время на сайте (Average time on site)
- Процент повторных посетителей (Percentage of returning visitors)
В результате шагов 2 и 3, у вас должен получиться примерно такой список:
| Категория | Кто | Что | Когда | Где | Почему |
|---|---|---|---|---|---|
| Лейаут | Повторные посетители | Авто-фильтровать новые продукты | Лендинг (landing page) | На этой неделе | Контент/ открытие продукта (Product Discovery) |
| Лейаут | Мужчины | Показывать контент и продукты, актуальные для мужчин | Лендинг (landing page) | На следующей неделе | Коэффициент добавлений в корзину |
| Оффер | Подписчики Dormant | Купон на скидку 15%, когда пользователь собирается уйти с сайта (exit intent) | Главная страница (Homepage) | В следующем месяце | Увеличить среднюю стоимость заказа (average order value, AOV) |
| Оффер | Новые посетители | Купон на скидку 15% после подписки на рассылку | Главная страница (Homepage) | В следующем месяце | Коэффициент подписок (subscription rate) |
| Оверлей | Все посетители | Сообщение с социальным доказательством | Лендинг (landing page) | Через 2 месяца | Коэффициент добавлений в корзину (add to cart rate) |
| Оверлей | Все посетители | Плавающая иконка корзины (floating cart) | Продуктовая страница (Product Detail Page, PDP) | Через 2 месяца | Коэффициент оплаты (checkout rate) |
| Баннер | Все посетители | Контент в зависимости от погоды в регионе посетителя | Верхний баннер (Top banner) | Через 3 месяца | Коэффициент кликабельности (clickthrough rate) |
| Правила мерчандайзинга | Повторные посетители | Рекомендация на основании последней покупки | Продуктовая страница (Product Detail Page, PDP) | Через 4 месяца | Контент/ открытие продукта (Product discovery) |
При помощи такой таблички здорово проверять идеи, чтобы потом добавлять их в роадмап тестирования (testing roadmap).
Шаг 4. Отсортируйте потенциальные идеи для тестирования по приоритетности
Роль: Комплекс дисциплин (Multidisciplinary)
Бывает, что какой-то эксперимент так и засядет в голове, и ты предвкушаешь, какие результаты он принесет и забываешь обо всем на свете. Но все же, прежде чем жать на кнопку запуска, важно взвесить потенциальный эффект от каждого эксперимента и затраты на его проведение. Иначе можно впустую потратить бесценное время и энергию на кампанию, далекую от реальности или практически бесполезную с точки зрения бизнеса — что ставит под вопрос не только сам эксперимент, но и судьбу всей программы по персонализации.
Методология, которую мы приводим ниже, поможет правильно приоритизировать идеи, чтобы выжать из каждой кампании максимум результатов.
Эффект (Impact)
Оценивается в комплексе; для оценки можно использовать следующие значения: Очень высокий, Высокий или Средний.
- Соответствие целям компании
- Ожидаемое время получения эффекта (impact)
- Влияние на воронку продаж
- Предполагаемый ажиотаж от эксперимента
- Одобрение куратором проекта/спонсором (executive sponsor)
- Возможность сократить расходы
Затраты (Effort)
Оценивается в комплексе; для оценки можно использовать следующие значения: Высокие, Средние или Низкие.
- Вовлеченные команды
- Сложность теста или кода
- Определение теста (Test definition)
- Время на контроль качества (Time to QA)
Когда проведете оценку всех этих факторов, проанализируйте результаты и расположите каждую идею на матрице эффекта/затрат (impact vs. effort matrix).
В качестве примера кампании по персонализации с высоким эффектом и низкими затратами можно привести кампанию построенную на эффекте социального доказательства. Социальное доказательство — это когда мы демонстрируем посетителю количество просмотров, добавлений в корзину или покупок конкретного продукта другими пользователями. Обычно этот эффект помогает придать уверенности тревожным пользователям и превратить их в уверенных покупателей. Учитывая минимальные усилия по разработке, кампании, построенные на социальном доказательстве, бывают очень эффективными.
Возьмите себе за правило:
- Высокий эффект + низкие затраты = Делаем прямо сейчас
- Высокий эффект + высокие затраты = Планируем на долгосрочную перспективу
- Низкий эффект + низкие затраты = Планируем на ближайшее время
- Низкий эффект + высокие затраты = Не делаем
В итоге у вас будет этакая шкала оценки (scorecard) для приоритизации кампаний. Количество доступного времени и ресурсов обычно зависит от зрелости персонализации в компании, но приоритизация тестов в любом случае полезна, так как помогает укоротить циклы дизайна и разработки и повысить эффективность реализации кампаний. Когда эксперимент не вписывается в график тестирования (testing schedule) это всегда приводит к срыву дедлайнов, в результате чего информация о пользователях устаревает, а полученные результаты можно поставить под сомнение. Не говоря уже о том, что страдает клиентский опыт (customer experience).
Этот Шаблон приоритизации для управления программой по персонализации поможет из кучи идей кампаний собрать четкий и эффективный план действий.
Теперь, когда у вас на руках есть список отсортированных идей, особенности каждой кампании нужно описать в брифе тестирования (test brief). Часть информации для этого документа мы уже собрали на предыдущих шагах. Кроме того, нам нужно описать несколько важных моментов для реализации теста, таких как параметры тестирования (test parameters), аудитория (audience), сроки (timeline) и т.д.
Ключевые стейкхолдеры составляют каждый бриф совместно, а впоследствии используют его как точку отсчета для всего, что связано с реализацией эксперимента: подходов, сроков, индивидуальной ответственности участников при запуске, валидации и этапов оптимизации.
После этого официально начинается сборка.
Шаг 5. Разработайте желаемый пользовательский опыт
Роль: Комплекс дисциплин (Multidisciplinary)
На этом этапе креативные и технические специалисты объединяют усилия, чтобы создать сам пользовательский опыт, в том виде, в каком вы его запланировали. Чтобы “наметить” (то есть представить в черновом виде), как будет выглядеть финальный эксперимент, обычно используют такой процесс:
- Накидать примерные тексты и призывы к действию (CTA) | Роль: Маркетинг и мерчандайзинг (Marketing & Merchandising)
- Собрать макеты дизайна | Роль: Продукт (Product)
- Разработать спецификации (specs) на HTML, CSS или Javascript | Роль: Разработка (Development)
Один только этот процесс может занять несколько недель, а то и месяцев, в зависимости от эффективности процессов. Именно поэтому так важно создавать культуру экспериментирования в компании — это дает возможность быстро масштабировать программы по персонализации. Еще один способ укоротить циклы дизайна и разработки и помочь маркетингу ускорить доставку клиентского опыта — это создание шаблонов кампаний.
После того, как вы разработали клиентский опыт, его нужно проверить и убедиться, что все требования соблюдены. Параллельно можно провести контроль качества:
- Отметить любые недостатки функционала | Роль: Маркетинг и мерчандайзинг (Marketing & Merchandising)
- Внести изменения, чтобы реализовать требуемые изменения в опыте взаимодействия | Роль: Разработка (Development)
- Получить финальное одобрение внедрения | Роль: Руководитель (Executive Leader)
Конечно, на следующих этапах может потребоваться дальнейший контроль качества.
Шаг 6. Оцените и оптимизируйте
После запуска эксперимента, за ним нужно пристально наблюдать, анализировать, оптимизировать — эти действия не менее важны для успеха кампании, чем все подготовительные мероприятия вместе взятые. Разумеется, мы приступаем к анализу и оптимизации только когда эксперимент достигает статистической значимости.
Длительность эксперимента, необходимая для получения адекватных результатов, будет зависеть от размера выборки и от количества вариаций, но минимальное рекомендованное время — две недели. В время эксперимента у вас постоянно будет соблазн приписать изменения в KPI какой-то конкретной вариации опыта, но обоснованный вывод можно будет сделать только после достижения определенного порога. Поспешные выводы могут привести к неверным решениям, основанным на некорректных данных.
Чтобы рассчитать нужные размеры выборок, опирайтесь на следующие переменные:
Базовый коэффициент конверсии (Baseline conversion rate) — текущий коэффициент конверсии (количество успешных действий поделенное на количество посетителей, сессий или просмотров) для тестируемого опыта.
Ожидаемый рост коэффициента конверсии (Expected uplift in conversion rate) — прогнозируемое процентное изменение коэффициента конверсии относительно базового коэффициента. К примеру, если базовый коэффициент конверсии составляет 2,5%, то 5%-ный ожидаемый прирост обещает нам новый коэффициент конверсии — 2,625%.
Количество вариаций (Number of variations) — количество вариаций, участвующих в одном тесте.
Средний размер выборки в день (Average sample size per day) — количество посетителей, которые будут участвовать в эксперименте в течение дня.
Кроме того, вы можете воспользоваться этим Байесовским калькулятором для расчета размера выборки и продолжительности A/B теста.
Когда эксперимент официально закончен, можно собрать ценные инсайты, чтобы лучше понять причины полученных результатов. Фиксируйте эти инсайты — они пригодятся для дальнейшей проработки различных профилей аудитории, модификации экспериментов и оптимизации действующих кампаний — а также для проведения совершенно новых тестов.
А теперь обратно к первому шагу!
Работы по персонализации — цикличны, а значит, когда заканчивается один тест, компания снова оказывается в начале фреймворка, где снова нужно анализировать собранные данные, штурмить новые идеи, формулировать гипотезы для новых опытов или изменения существующих и так далее. Каждый раз, когда команда проходит вышеописанный цикл по новой, процессы оттачиваются, становятся более эффективными — и в результате формируется хорошо-смазанный механизм персонализации, который обеспечивает всей компании в целом масштабируемые и значимые результаты.
Конечно, со временем программа будет меняться и адаптироваться к потребностям конкретной организации. Но сам фреймворк персонализации можно считать “путеводной звездой” для всех, кто хочет переоценить и усовершенствовать свою работу.
← Назад | Продолжение (Глава 5) →