(Вы читаете перевод ускоренного курса UX. Курс включает 30 вопросов, которые встречаются на старте карьеры: UX Crash Course: 30 Std Questions. Если вы здесь впервые, то лучше начните сначала).
Что, если мой любимый дизайн проиграл A/B-тест?
Ок, сценарий такой:
Вы придумали мощную гипотезу для A/B-теста. Вы убедили босса/клиента, что это может быть очень важно. Вы создали дизайн пары версий страницы, все настроили, запустили и … новый дизайн проиграл.
Вы чувствуете себя как-то неловко, правда?
Вам кажется, что вы обречены и вам больше никогда ничего не доверят?
Не совсем так.
Так что же вам делать?
Глупый ответ:
“Продолжай пользоваться старым дизайном!”
Да, это правильный ход. Но он не принесет вам особой пользы.
Настоящий ответ:
Да, очевидно не стоит использовать проигравший вариант просто потому, что вам он больше нравится. Если вы хотя бы задумывались об этом — остановитесь. Подойдите к дизайну серьезнее.
Лучший вариант — он и есть лучший вариант, нравится вам это или нет. Ваши чувства по отношению к дизайну — это только часть того, что нужно учесть.
В общем, не используйте проигравший дизайн.
Вам нужно переосмыслить пару вещей:
1. Насколько хороша гипотеза?
Есть вероятность, что вы просто влюбились в идею или в предположение, а тест показал, что гипотеза отстойная. Возможно, стоит еще раз все проанализировать и подумать, может ли ваша проблема (для решения которой и проводилось тестирование) быть вызвана чем-то другим.
Я обычно продумываю дополнительный A/B-тест еще до проведения основного, просто чтобы убедиться, что у меня правильное видение. Предполагайте, что проиграете!
2. Соответствует ли дизайн гипотезе?
Вы будете далеко не первым человеком, который использует классную гипотезу, чтобы оправдать появление розового единорога на сайте овощного магазина. Хотя сама гипотеза касалась яиц и молока.
Нет, на самом деле вы будете первым таким человеком.
Но убедитесь, что вы проектируете дизайн, который реально проверяет вашу гипотезу, а не просто отражает находки, которые вы хотите “испытать в деле”.
Вот почему этот вопрос совсем не глупый:
Хороший эксперимент не может провалиться.
Человеку присущ дух конкуренции. И у нас есть гордость. И мы нерациональны. Поэтому мы обычно относимся к A/B-тесту как к битве.
А это не битва.
Если сделать все правильно, то вы при любом исходе узнаете что-то полезное.
Если ваш “любимый” дизайн не победил, но тест был проведен правильно, вы сможете сделать вывод, что ваша гипотеза не отражает проблему. И это хорошо! Вы этого раньше не знали.
Вы исследуете, а не соревнуетесь! Продолжайте тестировать!
Если для вас A/B-тест это противостояние “моей крутой идеи и этой старой плохой идеи”, то у вас неправильный подход. Это не наука. Это эго.
Вы одержимы идеей “победы”, и вы станете интерпретировать неудачный результат как “почти удачный”, и предложите “все-таки оставить этот клевый дизайн” — и вот вы уже мчитесь на полной скорости в Город Дурачков.
Если вы проведете несколько тестов и поймете, что существующий дизайн непобедим, — это повод задуматься. Возможно, вы просто тестируете что-то не то! Вы вообще уверены, что там есть проблема?
Проводите A/B-тесты, чтобы узнать что-то новое. Забейте на свои идеи. Суть науки в открытиях и поступательном развитии.
Завтра, на нашем последнем уроке, мы одолеем самый серьезный из всех вопросов: “Что, черт возьми, такое многомерный тест?”