heart Created with Sketch. test
Курс «A/B-тестирование»

Многорукие бандиты как альтернатива A/B-тестам | Глава 9

В этой статье мы поговорим про алгоритм “многорукий бандит”, который помогает завершать эксперименты быстрее, чем при классическом A/B тестировании, и делает меньше статистических ошибок.

← Предыдущий урок

(Перед вами перевод бесплатного курса по A/B тестированию от компании Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)

Автор английской версии: Янив Навот, CMO, Dynamic Yield

За последние пару десятилетий наши возможности по интеграции, анализу и управлению данными выросли в разы. Тем временем, ключевой составляющей digital-стратегии остается оптимизация конверсии, а проведение A/B тестов и экспериментов стало незаменимым приемом для развития бизнеса и повышения прибыли. 

Долгое время компании проводили A/B тесты лишь с двумя вариантами (базовым/контрольным и измененным), с целью определить единственного статистически-значимого победителя. Со временем маркетологи сообразили, что можно не ограничиваться лишь двумя вариантами — и начали добавлять дополнительные сегменты в эксперименты, чтобы повысить их эффективность. 

Сегодня львиная доля компаний регулярно проводят контролируемые эксперименты, однако многих не устраивают объемы ресурсов и времени, которые приходится затрачивать для достижения значимых результатов. Компании стремятся выжимать из оптимизации все больше и больше — и маркетологи постоянно расширяют границы существующих методологий.  

Ниже мы рассмотрим, как работает традиционное A/B тестирование и как наука и технологии расширили наши возможности по оптимизации конверсий. 

Новый взгляд на классическую методологию тестирования

Сегодня большинство компаний параллельно проводят и A/B/n тесты, и мультивариантные тесты. Долгое время были известны и доступны только эти методологии для проведения экспериментов на сайтах, хотя их возможности во многом ограничены. 

К примеру, несмотря на определенную гибкость этих подходов, они сильно зациклены на поиске единственной, наиболее эффективной вариации (“победителя”). Сегодня маркетологи бросают вызов привычному подходу, задавая закономерные вопросы: 

  1. Почему мы вынуждены ждать достижения нужного объема выборки и высокой статистической значимости, чтобы потом вручную остановить эксперимент? Неужели нельзя настроить механизм таким образом, чтобы самая эффективная вариация органично — и автоматически — включалась в работу? 
  2. Можно ли автоматически задействовать огромные объемы информации, которыми мы располагаем, чтобы получать более точные и актуальные результаты? 
  3. Посетители сайтов хотят получать все более релевантный и персонализированный контент. Как помочь компании соответствовать постоянно растущей планке клиентских ожиданий? 
  4. Зачем останавливаться на одной единственной “победной” вариации, если по уму нам нужно стремиться показывать разным посетителям разные вариации контента — в зависимости от их поведенческих паттернов и индивидуальных предпочтений? 
  5. Зачем проводить эксперименты, направленные на достижение целей по показателям конверсии, если можно напрямую работать над увеличением дохода? 
  6. Как снизить операционные и управленческие расходы на оптимизацию (с технической точки зрения) — и при этом повысить масштабируемость, гибкость и скорость экспериментов?  

Все это непростые вопросы. В попытке ответить на них, многие компании приходят к выводу, что классические методологии просто не в состоянии предложить адекватного решения. 

Метод многорукого бандита

Классические методологии A/B тестирования предполагают равномерное распределение трафика между двумя вариациями (50 на 50). Многорукие бандиты позволяют распределять трафик динамически: более эффективные вариации со временем получают больше трафика, а менее эффективные — меньше. Многорукие бандиты быстрее приносят результат, потому что не нужно дожидаться определения единственного победителя.

Многорукий бандит

Алгоритм бандита выходит за рамки классического A/B тестирования и подключает разные алгоритмы для решения разных проблем — чтобы в результате выжать из эксперимента максимум. При наличии релевантного потока пользовательских данных, многорукие бандиты могут оперировать в рамках контекста. Контекстуальные алгоритмы бандита работают со входящим потоком контекстуальных данных о пользователе — как исторических, так и свежих — что позволяет им принимать более эффективные решения в реальном времени. 

Контекстные бандиты (Contextual bandits) особенно эффективны в ситуациях, когда нужно одновременно оптимизировать множество параметров за короткое время. 

На иллюстрации ниже видно, как отличается механизм A/B/n тестирования (при котором трафик распределяется равномерно — в нашем случае между тремя вариациями) и алгоритмы многорукого бандита и контекстуального бандита. 

На рисунке видно, как со временем тестирование по методу бандита обеспечивает лучший результат. При классическом подходе, вы должны остановить тест вручную, когда определен победитель; с другой стороны алгоритм бандита учится в процессе тестирования и динамически распределяет трафик, отталкиваясь от результатов. 

Алгоритм контекстуального бандита показывает каждую вариацию то одним, то другим посетителям сейчас, за счет чего эффективность каждой вариации повышается, и при этом нет единственного победителя, который со временем “захватывает” всю аудиторию. Проигравшего, соответственно, тоже нет. 

В основе этого подхода лежит предположение о том, что каждый человек реагирует по-разному на разный контент. К примеру, если мы проводим классический A/B тест рекламной кампании на сайте модной одежды (где аудитория состоит на 80% из женщин), в итоге теста мы можем прийти к ложному выводу, что эффективнее всего работают варианты кампании, ориентированные на женщин — хотя 20% мужчин в составе аудитории, наверное, ожидают “мужских” промо-акций.  

Зачастую алгоритмы бандита позволяют извлекать ценность из данных быстрее и эффективнее — особенно если учесть множество ограничений, с которыми связаны классические тесты. 

В частности, тесты-бандиты позволяют маркетологам: 

  1. Показывать каждому клиенту наиболее эффективный — даже персонализированный — контент, вместо более общих, универсальных вариаций, которые условно “победили” другие вариации (для большинства пользователей — но не для всех). 
  2. Напрямую оптимизировать эксперименты, чтобы добиться максимальной эффективности, основанной на доходе. 
  3. Отойти от статичного A/B/n подхода в только более гибкой платформы, которая автоматически подстраивает каждый элемент контента, чтобы обеспечить максимальную ценность. 
  4. Получить полный контроль над каждым фрагментом информации в режиме реального времени, что позволит принимать более эффективные, основанные на данных, решения. 
  5. Проводить сложные мероприятия по оптимизации с минимальной потребностью в IT-специалистах — даже при настройке сложных экспериментов в постоянно меняющихся условиях.

Вывод и рекомендация

Вооружившись правильными инструментами и моделями тестирования, маркетологи могут с максимальным эффектом использовать исторические и поведенческие данные о каждом посетителе сайта, что в результате поможет повысить эффективность мероприятий по оптимизации. 


← Назад | Продолжение (Глава 10) →


Курс «A/B-тестирование»