(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Янив Навот, CMO, Dynamic Yield
За последние пару десятилетий наши возможности по интеграции, анализу и управлению данными выросли в разы. Тем временем, ключевой составляющей digital-стратегии остается оптимизация конверсии, а проведение A/B тестов и экспериментов стало незаменимым приемом для развития бизнеса и повышения прибыли.
Долгое время компании проводили A/B тесты лишь с двумя вариантами (базовым/контрольным и измененным), с целью определить единственного статистически-значимого победителя. Со временем маркетологи сообразили, что можно не ограничиваться лишь двумя вариантами — и начали добавлять дополнительные сегменты в эксперименты, чтобы повысить их эффективность.
Сегодня львиная доля компаний регулярно проводят контролируемые эксперименты, однако многих не устраивают объемы ресурсов и времени, которые приходится затрачивать для достижения значимых результатов. Компании стремятся выжимать из оптимизации все больше и больше — и маркетологи постоянно расширяют границы существующих методологий.
Ниже мы рассмотрим, как работает традиционное A/B тестирование и как наука и технологии расширили наши возможности по оптимизации конверсий.
Новый взгляд на классическую методологию тестирования
Сегодня большинство компаний параллельно проводят и A/B/n тесты, и мультивариантные тесты. Долгое время были известны и доступны только эти методологии для проведения экспериментов на сайтах, хотя их возможности во многом ограничены.
К примеру, несмотря на определенную гибкость этих подходов, они сильно зациклены на поиске единственной, наиболее эффективной вариации (“победителя”). Сегодня маркетологи бросают вызов привычному подходу, задавая закономерные вопросы:
- Почему мы вынуждены ждать достижения нужного объема выборки и высокой статистической значимости, чтобы потом вручную остановить эксперимент? Неужели нельзя настроить механизм таким образом, чтобы самая эффективная вариация органично — и автоматически — включалась в работу?
- Можно ли автоматически задействовать огромные объемы информации, которыми мы располагаем, чтобы получать более точные и актуальные результаты?
- Посетители сайтов хотят получать все более релевантный и персонализированный контент. Как помочь компании соответствовать постоянно растущей планке клиентских ожиданий?
- Зачем останавливаться на одной единственной “победной” вариации, если по уму нам нужно стремиться показывать разным посетителям разные вариации контента — в зависимости от их поведенческих паттернов и индивидуальных предпочтений?
- Зачем проводить эксперименты, направленные на достижение целей по показателям конверсии, если можно напрямую работать над увеличением дохода?
- Как снизить операционные и управленческие расходы на оптимизацию (с технической точки зрения) — и при этом повысить масштабируемость, гибкость и скорость экспериментов?
Все это непростые вопросы. В попытке ответить на них, многие компании приходят к выводу, что классические методологии просто не в состоянии предложить адекватного решения.
Метод многорукого бандита
Классические методологии A/B тестирования предполагают равномерное распределение трафика между двумя вариациями (50 на 50). Многорукие бандиты позволяют распределять трафик динамически: более эффективные вариации со временем получают больше трафика, а менее эффективные — меньше. Многорукие бандиты быстрее приносят результат, потому что не нужно дожидаться определения единственного победителя.
Алгоритм бандита выходит за рамки классического A/B тестирования и подключает разные алгоритмы для решения разных проблем — чтобы в результате выжать из эксперимента максимум. При наличии релевантного потока пользовательских данных, многорукие бандиты могут оперировать в рамках контекста. Контекстуальные алгоритмы бандита работают со входящим потоком контекстуальных данных о пользователе — как исторических, так и свежих — что позволяет им принимать более эффективные решения в реальном времени.
Контекстные бандиты (Contextual bandits) особенно эффективны в ситуациях, когда нужно одновременно оптимизировать множество параметров за короткое время.
На иллюстрации ниже видно, как отличается механизм A/B/n тестирования (при котором трафик распределяется равномерно — в нашем случае между тремя вариациями) и алгоритмы многорукого бандита и контекстуального бандита.
На рисунке видно, как со временем тестирование по методу бандита обеспечивает лучший результат. При классическом подходе, вы должны остановить тест вручную, когда определен победитель; с другой стороны алгоритм бандита учится в процессе тестирования и динамически распределяет трафик, отталкиваясь от результатов.
Алгоритм контекстуального бандита показывает каждую вариацию то одним, то другим посетителям сейчас, за счет чего эффективность каждой вариации повышается, и при этом нет единственного победителя, который со временем “захватывает” всю аудиторию. Проигравшего, соответственно, тоже нет.
В основе этого подхода лежит предположение о том, что каждый человек реагирует по-разному на разный контент. К примеру, если мы проводим классический A/B тест рекламной кампании на сайте модной одежды (где аудитория состоит на 80% из женщин), в итоге теста мы можем прийти к ложному выводу, что эффективнее всего работают варианты кампании, ориентированные на женщин — хотя 20% мужчин в составе аудитории, наверное, ожидают “мужских” промо-акций.
Зачастую алгоритмы бандита позволяют извлекать ценность из данных быстрее и эффективнее — особенно если учесть множество ограничений, с которыми связаны классические тесты.
В частности, тесты-бандиты позволяют маркетологам:
- Показывать каждому клиенту наиболее эффективный — даже персонализированный — контент, вместо более общих, универсальных вариаций, которые условно “победили” другие вариации (для большинства пользователей — но не для всех).
- Напрямую оптимизировать эксперименты, чтобы добиться максимальной эффективности, основанной на доходе.
- Отойти от статичного A/B/n подхода в только более гибкой платформы, которая автоматически подстраивает каждый элемент контента, чтобы обеспечить максимальную ценность.
- Получить полный контроль над каждым фрагментом информации в режиме реального времени, что позволит принимать более эффективные, основанные на данных, решения.
- Проводить сложные мероприятия по оптимизации с минимальной потребностью в IT-специалистах — даже при настройке сложных экспериментов в постоянно меняющихся условиях.
Вывод и рекомендация
Вооружившись правильными инструментами и моделями тестирования, маркетологи могут с максимальным эффектом использовать исторические и поведенческие данные о каждом посетителе сайта, что в результате поможет повысить эффективность мероприятий по оптимизации.
← Назад | Продолжение (Глава 10) →