В этой главе мы разберем:
- Два важных компонента “путеводной звезды” (метрики North Star): название и определение
- Как определить входные данные (Inputs) для “путеводной звезды”
- Как тестировать входные данные (Inputs)
Танец в неопределенности
Когда вы начнете сводить воедино все свои наработки по North Star и попробуете нащупать ту самую “путеводную звезду”, вы скорее всего почувствуете, что этот процесс напоминает этакий танец в неопределенности. Команду может качать из стороны в стороны: от высказываний в духе “Да, в этой метрике что-то есть” “Но как именно мы будем ее измерять?” и до прямо противоположных: “Погодите, мне кажется нам нужно совершенно другое!” Постепенно обсуждение так или иначе сводится к тому, что нужно дать четкое определение “путеводной звезды”.
Помните: ваша “путеводная звезда” (метрика North Star) будет эволюционировать
Команды часто думают, что “путеводная звезда” должна быть сразу идеальной — и эта мысль парализует. Правда в том, что ваша North Star скорее всего со временем будет меняться и развиваться, по мере того, как вы будете собирать больше информации. Стартапы на ранних стадиях развития (или компании, ранее не работавшие с фреймворком North Star) порой меняют “путеводную звезду” каждые 6-12 месяцев. Более устоявшимся организациям нет нужды так часто менять North Star — они обычно корректируют “путеводную звезду” каждые 12-36 месяцев.
На начальном этапе важно определить общий вектор развития, остановиться на какой-то метрике в рамках этого вектора и дать ей четкое определение.
Название и определение
Очень важно дать название (name) и определение (definition) “путеводной звезде” (метрике North Star), а также всем входным данным (Inputs). Особенно уделите внимание названию и определению самой метрики. Название “путеводной звезды” должно вовлекать и передавать ее суть — пусть это будет что-то ёмкое и энергичное, что способно вдохновить всю компанию. Определение “путеводной звезды” должно быть четким и понятным, и оно должно описывать, как конкретно вы будете ее измерять.
Определение метрики можно составить по следующему шаблону: Наша “путеводная звезда” называется X и мы определяем ее как Y.
Инвестор кремниевой долины, предприниматель и писатель Эндрю Чен (Andrew Chen) подчеркивает важность брендинга “путеводной звезды”. “Вы должны уметь объяснить вашу North Star другим людям”, — поясняет Чен. “Так что сформулируйте “путеводную звезду” таким образом, чтобы о ней было супер просто рассказывать снова и снова. Ну и в целом упростите ее до такой степени, чтобы большая часть вашего роадмапа по росту (growth product roadmap) была направлена на стимуляцию этой метрики”.
Слишком расплывчато:
Наша метрика North Star трекает количество подписчиков, которые делают репосты нашего контента.
Уже лучше:
Наша “путеводная звезда” — регулярные репостеры (Frequent Content Sharers (FCS)). Определение: Количество уникальных подписчиков, которые репостили 2 или более статей в неделю в течение предыдущих 12 недель.
Определение метрики должно покрывать как текущие реалии вашего продукта: рынок, функциональность и эффективность — так и его будущий потенциал. Здесь всегда будет здоровое напряжение между тем, где вы сейчас (состояние продукта на данный момент), и тем, где вы хотите быть (новая реальность, в которой вы с продуктом хотите оказаться). В качестве первого шага, поштурмите, какое реальное поведение пользователей согласуется с вашей “путеводной звездой” и входными метриками. К примеру, если ваш продукт ориентирован на то, чтобы люди чаще медитировали, вы можете начать фиксировать увеличение длительности ежедневных сеансов медитации.
Когда подойдете непосредственно к определению метрики и входных данных, задайте себе следующие вопросы:
- Как изменение этой метрики повлияет на ваш процесс принятия решений (decision-making)? Какие решение вы рассчитываете принять на основании “путеводной звезды”? Если у вас уже есть некоторая история данных, попробуйте прикинуть, как менялась бы метрика с течением месяцев или лет.
- Чего вам НЕ говорит “путеводная звезда”? Насколько это важные пробелы? Возможно, важнее сконцентрироваться на них?
- Допустим, мы остановим все мероприятия по развитию продукта. “Путеводная звезда” вырастет? Надолго ли? Почему?
- Консультант по веб-эффективности Энди Дэвис (Andy Davies) в своем выступлении “Performance… It’s for People!" (Эффективность — это для людей!) говорит вот что: “У аналитиков искаженная картина. Они ориентируются на людей, которые готовы терпеть тот опыт, который вы предлагаете”. Что вы думаете об этом? Как выбранная ваши “путеводная звезда” учитывает этот аспект?
- Сможете ли вы постоянно и регулярно генерировать эту метрику с минимальными усилиями? Как на эту метрику влияет сезонность, дни недели, дни месяца?
- Возможно ли (и полезно ли) сравнить эту метрику в разрезе разных учетных записей и пользовательских когорт? В идеале, стоит рассматривать “путеводную звезду” как изолированно, так и в разрезе разных когорт.
- Что для вас будет сигналом для пересмотра метрики? Какие тесты вы намерены проводить, чтобы отслеживать, насколько полезной остается метрика?
Не закапывайтесь в попытке найти идеальную метрику
Некоторые команды сильно буксуют из-за своего перфекционизма. Они уверены, что в качестве “путеводной звезды” можно использовать только четкую, статистически выверенную модель — а если таковой пока нет, значит что-то не так с бизнес-моделью компании. Это не так! Для большинства продуктов взаимосвязь метрики и долгосрочного эффекта (long-term impact) редко бывает четкой и однозначной. В ситуациях неопределенности часто кроются так называемые “асимметричные возможности” (asymmetric opportunities) — когда потенциальный выигрыш значительно выше возможных потерь.
Например, “путеводная звезда” Amplitude — обучающиеся пользователи в неделю (Weekly Learning Users (WLUs)) — определяется как количество активных пользователей Amplitude, которые поделились каким-то наблюдением (learning), которое прочитали два или более других пользователя за последние семь дней (читайте подробнее: North Star in Action: Amplitude’s North Star Metric and Inputs). Возможно, вы думаете: как мы пришли к этой цифре — два или более пользователей? Взяли ее с потолка? Или у нас есть железные аргументы в пользу именно такого количества? Реальность в том, что никакой магии за этим числом нет. Если наблюдение (learning) одного пользователя прочитали два других — это хорошо; три — еще лучше; один — лучше чем ноль; и так далее. В чем-то мы уверены больше, в чем-то — меньше.
Важно установить границы, которые одновременно и достижимы (achievable), и амбициозны (aspirational). Когда такие границы очерчены, можно не переживать, что выбранный параметр метрики не идеален. Важно не конкретное число, а само поведение пользователей, которое представляет наша “путеводная звезда”. Оно согласуется с нашей стратегией — и мы открыты к неопределенности.
Как правильно определить входные данные (Inputs)
Входные данные — это набор факторов, которые в совокупности формируют метрику “Путеводная звезда” (North Star). В рамках фреймворка North Star входные данные столь же важны, как и сама “путеводная звезда”.
Вот что говорит о важности входных данных Дана Левин, продакт-менеджер в Amplitude: “Большинство команд совершают распространенную ошибку: они пытаются влиять на “путеводную звезду” напрямую, вместо того, чтобы работать с входными метриками, из которых складывается North Star. Хорошая “путеводная звезда” является отражением целого комплекса факторов, на которые ваша команда может повлиять. Вместо того, чтобы пытаться играть с “путеводной звездой” напрямую, полезнее выделить эти факторы, проработать их и проследить, как будет реагировать метрика North Star”.
Как у “путеводной звезды”, у каждой из входных метрик должно быть как название, так и определение.
Вот вам полезный шаблон для определения входных метрик (Inputs):
Я уверен(а), что <путеводная звезда> — это функция <X, Y и Z>. Кроме того, я уверен(а), что X, Y и Z в определенной мере независимы друг от друга (то есть изменение одной метрики не сказывается на других немедленно и напрямую).
Полезная техника для определения входных данных и метрик — составление ментальной карты (mind-mapping). Запишите на доске свою “путеводную звезду” (или даже кандидата на ее роль). Потом совместно накидайте связи и концепции по кластерам.
В самом начале ваша ментальная карта будет немного беспорядочной.
Причешите ментальную карту: сгруппируйте родственные концепции, уберите лишнее и подсветите взаимосвязи между элементами, вот так:
Уделите время на проработку и прояснение концепций в ментальной карте. Как результат, метрика, лежащая в сердце вашего майндмэпа, и все сопутствующие факторы должны быть аккуратно сформулированы и определены в общих чертах:
После того, как вы в общих чертах определите входные данные (Inputs), вам будет гораздо проще прописать конкретные метрики, под каждый набор данных.
Тестируем входные данные и “путеводную звезду”
Если вы выберете слишком широкие (broad) или слишком запаздывающие (lagging) входные метрики, впоследствии вам может быть сложно сконцентрировать свои усилия и измерить влияние (impact) на метрики. Если же вы остановитесь на слишком конкретных входных метриках, может возникнуть сложность с поиском инновационных решений для влияния на эти метрики.
К примеру, входная метрика “Удовлетворенные клиенты” ("Satisfied Customers") кажется слишком широкой. А вот “Количество положительных отзывов в социальных сетях” звучит как слишком узкая метрика.
Вот несколько методов тестирования входных метрик:
Метод 1: Тест Гринфилда
На время проведения этого теста, забудьте о текущих роадмапах, миссиях и других ограничениях — и сконцентрируйтесь на генерации новых идей. Поставьте перед командой такой вопрос:
“Сколько способов повлиять на эту метрику мы можем придумать за две минуты?”
Можете использовать следующий шаблон в качестве основы:
“У нас есть возможность повлиять на [метрику], посредством [какого-то изменения поведения, результата и т.п.]. Вот что мы можем потенциально изменить, чтобы воспользоваться этой возможностью: [функции, эксперименты и т.п.].
Если идеи команды быстро иссякли, возможно вам следует выбрать менее конкретную входную метрику. Если же идей слишком много — и большинство их них слишком широкие — значит, входную метрику нужно уточнить.
Метод 2: Проверка роадмапа (The Roadmap Check)
Для проведения этого теста, как раз *нужно* руководствоваться текущим роадмапом (roadmap) или наработками по продукту. Выпишите список мероприятий в продукте, которыми занимаетесь прямо сейчас, и обсудите, как они повлияют на выбранные вами входные метрики (Inputs). В большинстве случаев, можно будет проследить четкую связь. Хотя бывает, что связь на первый взгляд неочевидна и сопряжена с рядом предположений (assumptions), которые стоит проговорить и обсудить. Обсудите! Иногда связи между мероприятием роадмапа и входной метрикой нет вообще. Это тоже хороший знак: он говорит о том, что либо (1) один из факторов, влияющих на вашу “путеводную звезду”, не учтен в числе входных метрик, либо (2) в ваш роадмап прокрались какие-то не особо полезные задачи.
Может показаться, что мы ходим по кругу! Это нормально.
Процесс определения “путеводной звезды” (North Star) и входных данных (Inputs) иногда напоминает заколдованный круг. Возможно, вам ближе совершенно другой порядок действий. И это нормально! Это не линейный процесс. Вы можете нащупать метрику, но застрять с ее определением. Тогда вы возвращаетесь на шаг назад и немного адаптируете метрику. Далее вы начинаете добавлять входные данные (Inputs) — и вдруг понимаете, что они получились слишком широкими или, наоборот, слишком конкретными. Тогда вы снова пересматриваете метрику. Это абсолютно нормальный — и даже здоровый — процесс.
Поделитесь своей работой
К этому моменту у вас на руках уже есть куда полезных материалов: предварительные исследования и данные, определенность по игре, в которую вы играете, заметки с воркшопов и, что самое важное, ваша “путеводная звезда” (метрика North Star) и входные метрики (Inputs) к ней. Поделитесь проделанной работой с коллегами! Расскажите им, какие обсуждения вы вели и какие решения приняли.
Самый простой способ продемонстрировать работу, проделанную по North Star — это организовать общее собрание. Но кроме этого мы предлагаем активно “социализировать” вашу “путеводную звезду”: рассказывать о ней на разных выступлениях, как формальных, так и неформальных — и призывать коллег также распространять информацию о North Star.
Подведение итогов работы, презентация North Star коллегам и обсуждение метрики внутри компании: все это готовит вас к следующей амбициозной задаче — к запуску “путеводной звезды”.
Отпразднуйте это событие
Итак, вы и ваша команда определили “путеводную звезду” (метрику North Star) и ряд входных метрик (Inputs) для нее. Поздравляем! Самое время устроить какой-то праздник для всех причастных коллег и отметить ваш успех!
Обзор главы
- После воркшопа дайте точное определение “путеводной звезде” (метрике North Star) и входным метрикам (Inputs).
- Метрика должна отвечать определенным критериям; перепроверьте себя по чек-листу North Star, чтобы убедиться, что вы выбрали хорошую метрику.
- И метрике (North Star), и входным данным (Inputs) нужно дать название и определение.
- Входные метрики — это три-пять факторов, которые формируют “путеводную звезду”. Метрика North Star — это как уравнение или формула, состоящая из этих входных метрик.
- Обязательно поделитесь своей работой с коллегами и отпразднуйте свой успех.
← Назад | Продолжение (Глава 6) →