book-open 1 test
UX-исследования, Growth-эксперименты, Data Science

Метрики продукта: все о том, как выбрать подходящие для анализа, посчитать и улучшить продукт

Изучаем опыт Фатиха Коджа (Fatih Koca), руководителя направления аналитики и стратегического планирования в Mixpanel (Director of Analytics Strategy at Mixpanel), среди тем: анализ продуктовых метрик, поиск точек роста в продукте, разработка аналитических стратегий и совершенствование процессов принятия решений на основе данных.
Иллюстрация Matt Chinworth: http://www.chinworthillustration.com/

Вы читаете перевод материала  «A guide to product metrics: Fundamentals for defining key performance indicators that enable growth» от Фатиха Коджа (Fatih Koca), руководителя направления аналитики стратегического планирования в Mixpanel (Director of Analytics Strategy at Mixpanel). Фатих помогает клиентам Mixpanel разрабатывать аналитические стратегии и совершенствовать процессы принятия решений на основе данных. 

Над переводом работали: Андрей Попов и Ольга Жолудова.

Фатих Коджа (Fatih Koca) обладает обширным опытом в аналитике, до Mixpanel возглавлял команду глобальной маркетинговой аналитики в eBay Classifieds Group, где оказывал аналитическую поддержку 15 ведущим на рынке сайтам объявлений по всему миру. Его более чем 10-летний опыт работы с данными охватывает целый спектр отраслей (SaaS, e-commerce, финансы и аэрокосмическая промышленность) и области аналитики (продукты, маркетинг, взаимодействие с клиентами, финансы и торговля).

Какие продуктовые метрики приложений важно отслеживать и почему?

— если вы создаете или продаете продукты, вы, вероятно, не раз задавались таким вопросом. В этом гайде мы поможем вам найти ответ.

Наша команда участвовала в разработке аналитических стратегий для более сотни компаний. Со временем мы пришли к выводу, что фиксированного набора метрик, который работал бы для всех, просто не существует. Все компании и продукты уникальны и преследуют разные цели.

Например, стартап в сфере e-commerce может быть нацелен на быстрое привлечение новых клиентов — и для этого готов привлекать венчурный капитал; в то время как, скажем, банк со 100-летней историей будет больше ориентирован на удержание и увеличение продаж в рамках и без того большой клиентской базы.

Учитывая опыт разных компаний, продуктов и ниш, мы создали фреймворк, который поможет определить ключевые метрики результативности для вашего продукта. Кроме того, этот фреймворк поможет понять, как все ваши метрики связаны между собой — чтобы ваши менеджеры, инженеры, аналитики и специалисты по маркетингу четко видели, как их повседневная работа над развитием продукта влияет на общий результат. 

Если выстроить эту систему корректно, результаты не заставят себя ждать: так команде Hinge удалось увеличить пользовательскую базу на 400%, команде Viber — увеличить количество сообщений, отправляемых ежедневно, на 15% (при их миллиардной пользовательской базе!), а команде Kaplan — увеличить количество мобильных пользователей на 20%. И это лишь несколько примеров, которые мы наблюдали лично.

В этом гайде мы разберем следующие вопросы:

Пирамида метрик: фреймворк для определения ключевых метрик

У всех компаний, с которыми мы работали, всегда есть некий комплект метрик, которые характеризуют общую результативность их продукта. Как правило, среди этих метрик можно выделить одну — наиболее важную — которую мы называем “центральной метрикой” (focus metric). 

Интересуетесь свежими статьями по продуктовому дизайну (UX/UI)? 🚀

Подписывайтесь на канал в Telegram | ВКонтакте, Instagram, Facebook

Чтобы стимулировать эту центральную метрику (focus metric), команды и продуктовые менеджеры прорабатывают другие, более детализированные метрики — мы называем их метриками 1 и 2 уровня.

Когда метрики компании уже определены и настроены, существует естественная иерархия и восходящий поток воздействия: пользователь достигает своих целей, команда таким образом достигает своих — и в результате это приближает компанию к достижению уже её глобальных бизнес-целей. 

Ниже мы изучим различные категории метрик и расскажем, как настроить подходящую систему метрик для вашего продукта. Но для начала рассмотрим а общую схему метрик, которую мы используем и рекомендуем:

Центральная метрика (focus metric)

Самая важная метрика для вашего бизнеса

Если у вас есть опыт работы с продуктовой аналитикой, вы наверняка слышали о метрике «‎путеводной звезды» (North Star). Однако, есть мнение, что одна единственная “путеводная звезда” может выступать ограничивающим фактором, и что компании лучше иметь целую система значимых метрик. Эту тему хорошо раскрывают эксперты по росту и аналитике Reforge. Мы тоже предпочитаем более мягкую формулировку “центральной метрики” (focus metric), которая работает совместно с другими ключевыми показателями эффективности (KPI).

Если сделать слишком большой упор на центральную метрику (focus metric), это может негативно сказаться на вашем продукте. Представим, к примеру, новостной сайт, одержимый количеством просмотров видеорепортажей. Команде такого сайта может прийти в голову идея автоматически воспроизводить видео при загрузке страницы, чтобы стимулировать просмотры. Однако, в этом случае посетители, которые не хотят смотреть видеоконтент, могут уйти к конкурентам — таким образом снижая показатель удержания (retention). 

Центральные метрики (focus metrics) должны быть главным, но не единственным приоритетом. Не нужно добиваться роста центральной метрики ценой других KPI. 

Именно поэтому мы обычно рекомендуем выбирать центральную метрику (focus metric) с привязкой к активному использованию: например, количество активных пользователей в неделю (WAU) или в месяц (MAU). Подобные метрики хорошо отражают тенденции других метрик — таких как вовлечение (acquisition) и удержание (retention) — потому что явно демонстрируют, растет ли со временем количество пользователей продукта. Под активными пользователями (active users) мы подразумеваем людей, которые используют продукт по назначению, а не просто заходят и регистрируются. На этом мы подробно остановимся позже. 

Чтобы убедиться, что вы правильно выбрали центральную метрику (focus metric), задайте себе вопрос:

“Если мы увеличим этот показатель, вырастет ли результативность продукта в долгосрочной перспективе?”

Метрики первого уровня (L1)

Метрики, которые дополняют вашу центральную метрику (focus metric)

Метрики первого уровня (L1) — это те метрики, которые либо влияют на центральную метрику (focus metric) напрямую, либо служат индикаторами здорового роста продукта. Например, если ваша центральная метрика — это WAU (количество активных пользователей в неделю), то в качестве метрики L1 подойдет 7-дневное удержание (7-day retention). Этот показатель будет служить подтверждением, что вы не тратите маркетинговый бюджет на привлечение новых пользователей, которые уходят через день или два.

Метрики второго уровня (L2)

Конкретные метрики, которые стимулируют метрики первого уровня (L1) и центральную метрику (focus metric)

Метрики этого уровня можно настраивать бесконечно; плюс, здесь можно добавлять сколько угодно уровней в глубину. В рамках примера, который мы рассматривали выше, в качестве метрики второго уровня (L2) можно установить удержание пользователей в iOS приложении (iOS app retention). Под ней может скрываться метрика третьего уровня (L3): например, региональное удержание пользователей в iOS приложении или использование определенной функции в приложении.

Добавляя новые уровни метрик, не слишком увлекайтесь: надо сохранить фокус на том, что действительно важно. С точки зрения эффективности, иметь слишком много целей — все равно, что не иметь ни одной. В этом случае у всех будут разные представления о том, на что потратить свое время, чтобы сделать продукт лучше.

Определим ваши KPI: схема

Определяем ключевые категории метрик: принципиальная схема

Определяем ключевые категории метрик: подробный разбор

Охват (Reach)

Охват (reach) — это общее число пользователей, которые использовали продукт за недавний период времени. Для онлайн-сервисов  это может быть количество платных аккаунтов или количество пользователей, которые совершили покупку за последние три месяца. Для B2B продуктов ключевой метрикой часто является количество установок продукта (install base) или количество оплаченных лицензий за последний квартал или год.

Метрика охвата (reach) важна, потому что она отражает максимальное количество пользователей, которые могли бы стать активными: либо органически, либо посредством кампаний по повторному вовлечению (re-engagement campaigns.).

Активация (Activation)

Активация (activation) — это тот главный шаг, совершив который, новый пользователь с большой вероятностью станет активным. Например когда Facebook был на этапе стартапа, они выбрали в качестве метрики активации добавление 7 друзей за 10 дней. Команда обнаружила, что это действие является мостиком к долгосрочному использованию сервиса. Поэтому Facebook сделал добавление друзей центральной частью своего онбординга.

Для других продуктов активацией может выступать регистрация, совершение первой покупки, просмотр пяти видеороликов или внесение двух депозитов в течение определенного периода времени.

Мы рекомендуем рассматривать эту метрику не в количественном, а в процентном исчислении: то есть отслеживать не количество активированных пользователей, а процент активированных среди новых. Таким образом, вы “изолируете” эту метрику от показателя естественного роста пользователей и сможете оценить, удается ли вам со временем активировать все больше пользователей. 

Активные пользователи (Active users)

Активные пользователи (active users) — это люди, которые в течение недавнего периода времени выполнили ключевое действие и получили ценность от продукта. Получение пользы может заключаться в каком-то одном действии (например, воспроизведение песни) или в наборе действий (например, воспроизведение 3-х песен и создание своего плейлиста).

Продукты “повседневного” использования — такие как X/Twitter или Insta — ориентируются на метрику DAU (количество активных пользователей в день). Продуктами для бизнеса люди редко пользуются каждый день (особенно в выходные), поэтому для них больше подходит метрика WAU (количество активных пользователей в неделю). Метрика MAU хорошо подошла бы для сервиса оплаты счетов, поскольку счета обычно оплачивают ежемесячно.

Активные пользователи (active users) — это самая распространенная центральная метрика (focus metric) среди наших клиентов. Все потому, что она позволяет четко отследить, как с течением времени растет/снижается количество пользователей, которые получают ценность от продукта.  

Вовлеченность (Engagement)

Вовлеченность (engagement) отличается от активного использования (active usage), тем, что измеряет взаимодействие с продуктом на более глубоком уровне. Другими словами, метрика вовлеченности учитывает как частоту, так и глубину выполнения ключевых действий — и дает ответ на вопрос: “Насколько вовлечены наши активные пользователи?”

Вовлеченность можно определить как количество выполнений ключевого действия, просмотренных минут видео или завершенных транзакций. Важно рассматривать этот показатель в соотношении к количеству активных пользователей — так мы сможем оценить вовлеченность (engagement) в расчете на одного пользователя. В противном случае, по мере роста числа пользователей вам будет ошибочно казаться, что продукт становится более привлекательным — или, как говорят, “липким” (sticky) — чем есть на самом деле. 

Удержание (Retention)

Удержание (retention) — это метрика, которая показывает, способен ли ваш продукт выдержать проверку временем. Можно рассмотреть вопрос удержания в двух плоскостях:

Важно правильно установить временные рамки для достижения целей по удержанию (retention goals). Диапазон должен быть одновременно (1) достаточно продолжительным, чтобы охватывать адекватный цикл повторных посещений ваших клиентов и (2) достаточно коротким, чтобы команды могли оперативно получать обратную связь и вносить корректировки. Обычно мы рекомендуем использовать 7-дневное удержание (7-day retention) в качестве опережающего показателя для 30- или 90-дневного удержания (30 / 90-day retention).

Метрики, специфичные для вашего бизнеса (Business-specific metrics)

Даже если вы уже используете перечисленные выше метрики, а также углубили их метриками второго уровня, в вашей аналитической стратегии все еще могут быть некоторые важные пробелы. Как правило, они связаны со спецификой вашей бизнес-модели.

Например, у одного сайта знакомств, с которым мы работаем, есть метрика “хороший отток” (good churn). С ее помощью они отслеживают пользователей, которые построили долгосрочные отношения и перестали использовать приложение. С одной стороны, отток — это плохо, ведь это потеря пользователей. Но в данном случае это полезно для бизнеса — ведь счастливые клиенты посоветуют приложение друзьям и вернутся сами, если когда-нибудь снова будут в поиске отношений.

Обратный пример: компания финансового консалтинга отслеживает процент пользователей, чьи остатки на счетах увеличиваются из месяца в месяц. Если этот показатель растет — значит, продукт помогает пользователям успешно планировать бюджет. В этом заключается отличительная ценность их сервиса в конкурентной отрасли управления финансами. 

Примеры ключевых метрик в срезе различных отраслей

Вот такую картину по ключевым метрикам мы, как правило, наблюдаем в разрезе разных отраслей бизнеса:

Реальные примеры применения фреймворка продуктовых метрик

Теперь давайте рассмотрим несколько успешных примеров применения этого фреймворка в разных отраслях. Таким образом мы ходим раскрыть логику принятия решений по метрикам в контексте конкретного бизнеса. Это поможет вам проработать собственный набор метрик. 

Пример 1 из области медиа: Стриминговый видеосервис по подписке, Метрики продукта в области media

Бизнес по подписке (subscription-based business) находится на пике во множестве отраслей: от подбора одежды до доставки еды. Долгосрочное процветание такого бизнеса зависит от его способности привлекать правильную аудиторию, превращать их в платных подписчиков, обеспечивать им классный опыт взаимодействия и сохранять их лояльность.

Центральная метрика (Focus metric):

Количество активных подписчиков за неделю (WAS, Weekly active subscribers)

При использовании любой метрики активного использования (active usage) важно определить, что делает пользователя активным. В данном случае, мы вполне можем ожидать, что платный подписчик будет смотреть хотя бы одно видео в неделю — ведь если он будет смотреть меньше роликов, то едва ли получит достаточную ценность, чтобы оправдать стоимость подписки. 

Охват (Reach):

Количество подписчиков (Subscribers)

Количество платных подписчиков задает некий “потолок” для метрики количество активных подписчиков в неделю (WAS) — а, значит, это правильная метрика охвата. 

Пользователи с активной подпиской — это источник жизненной силы бизнеса по подписке, ведь они обеспечивают регулярный доход (recurring revenue). В обмен на ежемесячную оплату пользователи ожидают получить ценность, соответствующую цене подписки — или превышающую ее. Если этого не происходит, они уходят в отток (churn). 

Чтобы рост подписчиков был здоровым, метрики второго уровня — такие как количество удержанных подписчиков (retained subscribers) и количество новых подписчиков (new subscriber) — тоже должны расти. 

Если количество новых подписчиков увеличивается, а количество удержанных — сокращается, то возникает проблема оттока (churn). А если количество удержанных подписчиков растет, а новых — нет, это уже проблема привлечения (acquisition). 

Активация (Activation):

Процент новых пользователей, которые оплатили подписку в течение первой недели (Subscription in 7 days / New users)

Этот показатель отслеживает только когорту новых пользователей и показывает процент тех, кто стал подписчиком в течение 7 дней после первого посещения. Здесь важен именно срок в одну неделю — потому что если вам не удается активировать пользователя на ранней стадии, значит нужно улучшать процесс онбординга или опыт пробного использования продукта (trial). 

Вовлеченность (Engagement):

Количество просмотренных минут на одного активного подписчика за неделю (Minutes viewed / WAS)

Метрика вовлеченности количественно определяет ценность, которую каждый пользователь получает от продукта. Чем более вовлечены пользователи, тем большую ценность они получают от сервиса. Просмотренные минуты являются естественным показателем ценности, полученной в данном продукте. Чтобы нормализовать этот показатель, нужно разделить его на количество активных подписчиков за неделю.

Метрики второго и третьего уровня (L2 и L3) помогают изолировать разные типы вовлеченности, чтобы команды могли в отдельности проработать каждый из факторов, определяющих общий результат.

Еще один важный индикатор вовлеченности — досматриваемость видео (video completions). Если пользователи систематически включают новые видео, но не досматривают и уходят — значит, они не находят контент интересным и, скорее всего, скоро перестанут оплачивать подписку. 

Удержание (Retention):

1-недельное удержание подписчиков (1-week subscriber retention)

Период удержания в одну неделю отражает типичный цикл просмотра на платформе. Этот интервал достаточно длинный, чтобы заметить важные тенденции, но достаточно короткий, чтобы оперативно внести изменения, если вы замечаете, что рекомендуемый контент или пользовательский опыт негативно влияют на просмотры. Чтобы измерить привлекательность (“липкость”) каждого нововведения, рекомендуем мониторить удержание (retention) по одному и тому же шоу во времени.  

Метрики, специфичные для вашего бизнеса (Business-specific):

Средний доход с одного подписчика (Average revenue / subscriber)

Этот показатель важен, если вы проводите акции, которые затрагивают цену подписки, или тестируете различные методы ценообразования. Привлечь новых подписчиков с купоном на скидку 50% относительно легко, а этот показатель поможет отследить, насколько здоровым и устойчивым является ваш рост.

Пример 2 из области интернет-торговли (e-commerce): Интернет-магазин одежды, Метрики продукта в области e-commerce

Интернет-торговля (e-commerce) ежегодно расширяет свои границы: от заказа медикаментов до покупки авто и недвижимости полностью онлайн. 

В данном примере мы рассматриваем магазин, который продает недорогую одежду в основном через свой сайт. Продуктовая команда хочет обеспечить здоровый поток покупателей, поэтому их главная цель — увеличить количестве покупателей. Чтобы привлечь правильных клиентов, необходимо увеличить охват продукта, а также оптимизировать пользовательский опыт сайта, чтобы увеличить размер корзины и стимулировать повторные покупки. Эту работу лучше проводить совместно с командами роста (growth team) и маркетинга (marketing team).

Центральная метрика (Focus metric):

Количество активных покупателей за неделю (WAB)

В данном случае "активный" означает совершение покупки. Эта метрика не учитывает посетителей, которые заходили на сайт, но ничего не купили. Да, они могут вернуться, но на данном этапе они еще не создают ценности для бизнеса.

Охват (Reach):

Количество активных пользователей за 3 месяца (3-month active users)

Данная метрика охвата также учитывает пользователей, которые недавно что-то искали или просматривали страницы сайта. Это дает владельцам продукта хорошее представление о том, кто может совершить покупку в ближайшем будущем. На втором уровне они разбили эту метрику на новых пользователей и существующих, а в рамках каждой из этих групп также выделили повторно активированных (reactivated) и удержанных (retained) пользователей. 

Активация (Activation):

Процент новых пользователей, которые совершили первую покупку в течение первой недели (1st purchase in 7 days / New users )

Метрика отслеживает только когорту новых пользователей и показывает, сколько из них совершают покупку в течение семи дней с момента первого поиска или просмотра. Две субметрики отслеживают эффективность работы конкретных этапов пользовательского пути (CJM) — от первого показа до покупки.

Вовлеченность (Engagement):

Количество купленных товаров на одного активного покупателя за неделю (Bought items / WAB)

Данному бизнесу выгодно, когда клиент покупает более одного товара — ведь это быстрый способ увеличить доход. Если человек уже нашел товар себе по вкусу и ввел данные карты, то добавление других товаров в корзину требует минимальных дополнительных усилий.

Метрики второго и третьего уровня (L2 и L3) позволяют оценить эффективность конкретных частей воронки и потенциально выявить проблемные области. Так, если вы фиксируете большое количество брошенных корзин, это говорит о том, что нужно проработать финальные этапы покупательского опыта. 

Удержание (Retention):

1-месячное удержание покупателей (1-month buyer retention)

Данная метрика отслеживает, возвращаются ли покупатели на следующий месяц, чтобы сделать еще одну покупку. Такое поведение соответствует покупательским привычкам клиентов этой компании.

Для более оперативной обратной связи, компания также отслеживает недельное удержание пользователей, которые что-то ищут или просматривают страницы сайта. Если люди не находят того, что ищут — значит хромает какой-то этап между поиском и покупкой. 

Метрики, специфичные для вашего бизнеса (Business-specific):

Средняя цена покупки (Average buying price)

Эта метрика характеризует среднюю цену товара, приобретенного у вас. Здесь нужно стремиться к показателям, которые соответствуют вашей стратегии ценообразования.

Данная компания стремится предлагать клиентам низкие цены, поэтому они хотят, чтобы эта метрика уменьшалась, а общий размер корзины увеличивался. А вот продавец премиальных товаров, к примеру, ориентировался бы на более высокую среднюю цену покупки, но, в свою очередь, не ожидал бы большого количества товаров в заказе.

Шаблон для построения системы метрик

Держите шаблон оригинального фреймворка в Figma. Также там есть версия для печати на А4.

Вывод и рекомендации

Важно помнить, что главная цель измерения не только в том, чтобы фиксировать изменения, но и в том, чтобы создавать правильные изменения, которые помогут в развитии продукта. Чтобы отслеживать метрики, нужна тщательность, дисциплина и концентрация. Чтобы улучшать метрики, потребуется всё это — плюс изобретательность. И в этом вся суть создания продуктов и управления ими.