(Перед вами перевод бесплатного курса «CRO and Growth Marketing Course» от Dynamic Yield. Если вы здесь впервые, то лучше начните сначала)
Автор английской версии: Янив Навот, CMO, Dynamic Yield
Когда компания только начинает A/B-тестировать сайт, рассылку или другие каналы взаимодействия, большие результаты, как правило, не заставляют себя ждать. Иногда для значительного скачка конверсии (conversion rate) бывает достаточно поменять расположение, размер или цвет CTA-кнопки. Поэтому в первые месяцы после начала работ по оптимизации конверсии все, как правило, ходят довольные и вдохновленные. Но через какое-то время запал и энтузиазм, на котором “едет” все тестирование, начинает снижаться.
Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.
Коптельня — команда по быстрой разработке веб-приложений и сайтов.
В большинстве случаев программы по A/B тестированию (A/B testing programs) начинают терять обороты, когда у людей, стоящих за ними, заканчиваются идеи для тестирования. Этот момент может наступить быстро, потому что маркетологи (marketers) и аналитики (analysts) обычно начинают с идей, которые лежат на поверхности. Когда все очевидное уже протестировано, встает закономерный и чуть более сложный вопрос: что тестировать дальше?
Кроме того, у всех есть свои предпочтения и предубеждения относительно того, что стоит тестировать в первую очередь. Например, какой-то отдельно взятый аналитик (analyst) или маркетолог (marketer) может оказаться убежденным визуалом — и будет придавать тестам с визуальным аспектам большую значимость. А другой может считать первичным контент на сайте или в рассылке — и будет активно A/B-тестировать тексты, заголовки и формулировки акций и предложений. Другие члены команды могут мыслить структурно: они захотят узнать, что нужно включить в состав формы, чтобы получить больше конверсий.
Все эти идеи вполне подходят для A/B тестирования. Фишка в том, что бывает достаточно протестировать лишь несколько вариаций по каждому из аспектов. В итоге вы сами это поймете: если будете постоянно “копать” в одном направлении, то увидите как эффект от тестов со временем начнет снижаться. Прирост конверсии будет становиться все меньше и меньше, и в какой-то момент вы подумаете, что A/B тесты уже не приносят значимых результатов. Если вам хочется новых, вдохновляющих результатов — нужно пробовать новые типы тестов.
Если ваша работа по A/B тестированию начинает казаться скучной и неинтересной, пора попробовать что-то новенькое. Вот несколько способов нагенерить новых идей и добиться крутых результатов.
Метод 1. Создайте матрицу генерации идей (idea generation matrix)
Одна из самых полезных техник для оживления вашей стратегии A/B тестирования — это создать общий список всех категорий и элементов, которые вы можете протестировать. Потом этот список нужно скомбинировать со списком всех тестов, которые вы можете провести. У вас получится матрица генерации идей, взглянув на которую вы сможете быстро вспомнить, какие еще элементы и какими тестами можно протестировать.
Если у вас сайт, категории и элементы для тестирования могут быть такими:
- UX, лейаут (layout), элементы дизайна
- Размер и цвет кнопки CTA (call-to-action), текст на кнопке
- Промоакции (promotional offers) и стимулы (incentives)
- Тексты и сообщения на сайте
- Социальное доказательство (social proof), оповещение о спросе на товар (product demand alerts) и сообщения о том, что товар заканчивается (scarcity messaging)
- Функциональность страниц
- Рекомендательные алгоритмы и стратегии
- Меню навигации (navigational menus)
С этими данными перед глазами вам будет проще создавать тесты; а если какой-то аспект остался у вас без внимания, вы быстро это обнаружите.
Метод 2. Вовлекайте в процесс как можно больше людей
Если ваша команда тестирования состоит из одного-двух человек (а это частый сценарий), генерация идей быстро превращается в неприятную рутину. С другой стороны, у ваших коллег в маркетинге (marketing), продажах (sales) и менеджменте (management) может быть масса многообещающих идей.
Постайтесь вовлечь в процесс тестирования как можно больше таких ребят с идеями. Можно сделать это неформально — например, написать групповое письмо или завести общий чат — или учредить вполне официальные встречи раз в неделю/месяц. Обсуждайте с этими ребятами задумки для новых тестов — и делитесь результатами завершенных экспериментов, чтобы они могли корректировать свои идеи. А еще, вы всегда можете заглянуть в библиотеку вдохновения Dynamic Yield, где мы собрали для вас сотни примеров веб-персонализации от живых брендов. Листайте и придумывайте свои идеи!
Метод 3. Расставляйте идеи для A/B тестов по приоритету
Какие-то идеи для тестов лучше, какие-то — хуже. Сложность состоит в том, чтобы правильно выбрать, с чего начинать — особенно если в команду тестирования входят ребята из разных отделов, и у всех свои (часто противоположные) приоритеты. Один крупный американский бренд одежды придумал решение проблемы:
Раз в месяц команда цифрового маркетинга собирается вместе и 5-10 минут накидывает идеи для тестирования на стикерах: один стикер — одна идея. Таким образом они быстро собирают самые разные идеи.
Дальше предлагаем воспользоваться нашим фреймворком для приоритизации идей — матрицей “Эффект-затраты” (Impact-effort matrix). Подробнее о фреймворке и о том, как построить стратегию оптимизации конверсии читайте здесь.
Для оценки и упорядочивания идей можете воспользоваться нашим удобным шаблоном для приоритизации.
Метод 4. Запомните пять главных вопросов
Каждый A/B тест — это эксперимент, который должен дать нам ответ на конкретный вопрос. И все же, создавая этот эксперимент, нужно держать в уме пять главных вопросов, на которые мы рассчитываем ответить в итоге тестирования. Эти вопросы знает каждый: Что? Кто? Где? Когда? и Почему?
- Что мы тестируем? Какую конкретную концепцию (concept) или параметр (preference)?
- Кто наша аудитория? Все, кто участвует в тестировании, или какой-то конкретный сегмент? Под разные аудитории следует использовать разные тесты.
- Где конкретно на сайте происходит эксперимент и при каких обстоятельствах? На домашней странице (homepage) или на каком-то отдельно взятом лендинге (landing page)? Почему именно там?
- Когда мы запустим тест и сколько он будет крутиться? Некоторые тесты приносят одни и те же результаты независимо от времени. Другие эксперименты дают ценные инсайты только если их запускать в определенное время: скажем, в час пик, по выходным или по праздникам.
- Почему мы проводим этот тест? Какую гипотезу проверяем? Что рассчитываем узнать в итоге? На какие результаты надеемся? Скажем, вы хотите сократить долю брошенных корзин (shopping cart abandonment rates). Как вы намерены использовать выводы, полученные в ходе тестирования, на сайте и при корректировке будущих экспериментов?
За каждым тестом стоит нечто большее, чем просто “проверить, какой размер заголовка или картинка лучше работает”.
Рассматривайте каждый тест как возможность понять, как все элементы на сайте работают в комплексе, чтобы впоследствии скорректировать стратегию и добиться желаемых результатов.
Метод 5. Не забывайте A/B-тестировать письма и рассылки
По сравнению с сайтом, в рассылке не так уж много элементов, которые можно протестировать. Из-за этого многие думают, что A/B-тестирование писем — это напрасная трата ресурсов. Это в корне неверно. Рассылка — это один самых быстрых и простых способов получить реальные результаты от A/B тестирования. Можете считать рассылки своей песочницей для тестирования разных стратегий сегментации (segmentation strategies) и сумасшедших (на первый взгляд) идей.
Метод 6. Собирайте свой арсенал для A/B тестирования рассылок
В рассылках есть множество элементов, которые можно (и нужно) тестировать, но мы рекомендуем начинать с темы. Это небольшой, но решающий аспект рассылки — особенно если у вас небольшая база подписчиков. К сожалению, можно придумать не так уж много вариаций темы. Поэтому A/B тестирование темы — это критически важный этап.
В процессе проведения экспериментов с рассылками, собирайте свой арсенал идей для тестирования. Если заметите, что открываемость (open rates) начала падать, возьмите из списка какую-нибудь свежую идею темы, чтобы встряхнуть получателей (recipients). Суть тут не в поиске “той самой идеальной темы”, по которой всегда будут высокие показатели открываемости. Да такой темы и не существует. Иногда удается найти удачную формулировку, которая хорошо сработает несколько раз кряду, но в итоге получатели рассылки всегда привыкают к новому формату — и теряют интерес. Когда это происходит, показатели открываемости возвращаются на прежний уровень.
Допустим, у вас в арсенале есть три десятка техник, которые хорошо сработали в ходе A/B тестирования. Некоторые из них сработали лучше, некоторые — хуже, но все они оказали статистически значимое (statistically relevant) влияние на показатели открываемости (open rates). Если вы отправляете рассылку раз в неделю-две, у вас уже есть запас идей на год вперед.
Вот вам в помощь простой (но, надеемся, эффективный) трекер оптимизации конверсии и a/b тестирования. Эта таблица поможет вам сортировать идеи, придумывать новые эксперименты и фиксировать результаты тестирования для истории:
Вывод
Главное помните, что цель A/B тестирования — быстро узнавать эффективность разных штук и мгновенно запускать полученные данные в работу. Со временем ваши A/B тесты должны становиться все более прицельными и продвинутыми. Вы должны переходить от тестирования базовых элементов дизайна к экспериментам с более сложными категориями, такими как функциональность сайта. А еще со временем вы сможете A/B-тестировать все что угодно: алгоритмы предложения продуктов, предварительные заказы, персонализацию, опросы, узкие изменения в конкретных сегментах и т.п. — и соберете кучу полезных инсайтов.
Тестировать можно отдельно и мобильную версию сайта: вот, например, Amazon недавно запустил серию тестов для мобильных пользователей, где сравнивал “покупку в один клик” (“one-click buy”) и “покупку в один свайп” (“swipe to buy”). Не допускайте, чтобы ваше A/B тестирование забуксовало.
Тестировать можно и важно всё: сайт, рассылки, социальные сети и даже поведение клиентов (customers’ behaviors). Чем больше вы тестируете, чем больше узнаете о бизнес-ландшафте — тем лучше будут ваши результаты.
← Назад | Продолжение (Глава 3) →