Вы читаете перевод материала «Frequently Asked Queries: Global Benchmarks for how product teams analyze product data and user behavior». Над переводом работали: Андрей Попов и Ольга Жолудова.
Команда Mixpanel — аналитический сервис для совершенствования продуктов — собрала за год 50 миллиардов точек данных от 26 000 компаний со всего мира и опубликовала отчет, который подскажет, какие процессы стоит внедрять повсеместно — от аналитиков и менеджмента до высшего руководства и совета директоров — чтобы сделать аналитическую культуру результативнее.
Также на эту тему будет полезен материал: Data-driven и data-informed: два подхода к использованию данных →
В отчете вы найдете ответы на такие вопросы:
- Какие методы анализа наиболее эффективны для изучения поведения пользователей?
- Какие методы помогают обнаружить тенденции в поведении пользователей?
- Чем отличаются подходы Data-Curious и Data-Informed.
В рамках этого исследования мы будем ориентироваться на два типа пользователей Mixpanel — платформы для аналитики:
Data-Curious — когда интересуются данными о своих продуктах, стремятся исследовать их, анализировать и принимать решения на основе полученной информации.
Это те пользователи, которые использовали возможность фильтрации или разбивки данных в отчетах как минимум 3 дня — но не больше 30 дней — из недавних 3-х месяцев работы с системой аналитики.
Такие пользователи применяют данные для принятия решений о продукте, но их подход не является итеративным или систематическим: то есть они не пробиваются вперед на основании полученной информации.
Data-Informed – когда действуют на основании данных. Они анализируют и интерпретируют данные, чтобы получить представление о прошлых и текущих тенденциях, выявить паттерны и прогнозировать будущие результаты.
Это те 10% пользователей платформы, которые использовали возможность фильтрации или разбивки данных в отчетах больше 30 дней за последние 3 месяца использования.
Такие ребята ориентируются на данные при принятии практически всех решений по продукту.
1. Анализ вовлеченности — самый популярный отчет в продуктовой аналитике
Анализ вовлеченности (отчет Insights) — используется в три раза чаще, чем все остальные отчеты, и на него приходится более двух третей всех проводимых анализов. Пользователи сохраняют этот отчет, добавляют на панель инструментов, делятся им и экспортируют вдвое чаще, чем любой другой отчет.
Отчет отражает общую картину того, что происходит с продуктом. А вот для получения конкретных, реализуемых на практике инсайтов, которые можно положить в основу развития продукта, вам нужно будет углубиться в другие специализированные отчеты.
- Например, анализ конверсий (Funnels) поможет разобраться, что способствует выполнению целевых действий пользователями, а анализ пользователей (Explore) дает представление о том, кто они.
- Анализ удержания (Retention) подсвечивает то, ради чего они возвращаются, а анализ пользовательского пути (Flows) может показать, что человек делал в продукте, до того как применил определенную функцию или купил расширенную подписку.
2. Культура принятия решений на основании данных (Data-Informed) повышает вероятность новых открытий
Ребята, принимающие решения на основании данных (Data-Informed), делают более чем в два раза больше аналитических запросов в день — по сравнению с теми, кто просто интересуется данными (Data-Curious).
Кроме того, те, кто действует на основании данных (Data-Informed) подходят к работе с данными легко и осознанно — и с куда большим любопытством. Это можно понять по тому, что они просматривают, создают и сохраняют аналитические запросы в три раза чаще, чем те, кто просто интересуется данными (Data-Curious).
Кроме того, Data-Informed пользователи в целом взаимодействуют с данными чаще, а их сеансы длятся дольше. Они ищут в данных ответы на свои вопросы, и с любопытством переходят к исследованию новых вопросов — по мере их возникновения.
Ключ к развитию продукта на основании данных (Data-Informed) — это ритмичная практика. Если вы будете регулярно уделять время работе с данными (пусть даже это будут короткие интервалы), то быстро освоитесь с цифрами и научитесь выявлять важные тренды.
Те, кто интересуется данными (Data-Curious):
- делают около 7 запросов в день
- заходят в систему не чаще 2 раз в день
- каждый сеанс длится менее 5 минут
- просматривают, создают и сохраняют порядка 13 запросов в день
- получают желаемую ценность за более короткое время (3,5 минуты)
- сегментируют свой анализ тремя разными способами (добавление фильтра, редактирование фильтра, добавление разбивки и т.п.)
Те, кто действует на основании данных (Data-Informed):
- делают порядка 20 запросов в день
- минимум 4 сеанса в день
- продолжительность каждого сеанса более 10 минут
- просматривают, создают и сохраняют почти 40 запросов в день
- вкладывают больше времени, чтобы получить желаемую ценность (в среднем 4.3 минуты)
- сегментируют свой анализ пятью разными способами (добавление фильтра, редактирование фильтра, добавление разбивки и т.п.)
3. Стартапы чаще других изучают данные: делают запросы, сохраняют и просматривают отчеты
Кроме того, они — чаще других сегментов пользователей Mixpanel — проводят анализ удержания. Стартапам нужно учиться — и быстро. Им нужно быстро принимать решения и быстро экспериментировать с продуктом, чтобы добиться соответствия продукта рынку; при этом их ресурсы часто ограничены, а на рынке — высокая конкуренция. По этой причине, именно стартапы могут использовать данные с максимальной эффективностью для развития своего бизнеса.
4. Даже простые срезы показателей могут быть весьма эффективными
Опытные пользователи, как правило, используют в своем анализе больше фильтров и разбивок. Как показывают данные, пользователи, которые используют 4 и более фильтров находятся в 90-м процентиле (это касается и Data-Curious, и Data-Informed пользователей), в то время как медианный пользователь применяет 1.6 фильтра. Пользователи из 90-го процентиля также на 30% чаще делают разбивку данных — по сравнению со средним пользователем, который применяет к своим отчетам только 1 разбивку и 2 фильтра.
Пользователи, которые действуют на основании данных (Data-Informed) подходят к анализу более изощренно: они применяют фильтры и разбивки, чтобы выжать максимум из каждого байта данных. При этом многие ответы можно найти путем простого анализа — но иногда сегментирование данных может открыть вам принципиально новые инсайты.
5. Когортный анализ и кастомные свойства = более качественный клиентский опыт
Пользователи, которые действуют на основании данных (Data-Informed) сохраняют и обновляют когорты — группы своих самых важных пользователей — в 7 раз чаще, чем те, кто интересуется данными (Data-Curious). Они также в два раза чаще используют кастомные события и свойства. На основании такого анализа можно принимать более качественные решения в таких областях, как разработка продукта, онбординг и обучение и развитие пользователей.
По мере того, как растет зависимость данных (data dependency), вы начинаете все больше полагаться на когорты и на продвинутые подходы к анализу данных. Если вы хотите прокачаться в продуктовой аналитике, сравнивайте свои данные в разрезе разных групп пользователей и кастомных событий и свойств. Так вы сможете создать метрики, которые раньше были недоступны.
6. Ключевые отчеты — механизм поиска ответов на популярные вопросы, которым смогут пользоваться все сотрудники компании
Люди любят смотреть аналитические отчеты. Но создавать их — это совсем другая история. По нашим данным, большинство инсайтов пользователи Mixpanel черпают из уже созданных отчетов и дашбордов: как Data-Curious, так и Data-Informed пользователи в более чем 70% случаев смотрят готовые отчеты вместо создания новых.
Если бы мы могли дать вам только один совет по анализу продукта, то он звучал бы так: уделите время и тщательно проработайте ключевые отчеты. Таким образом, вы создадите всегда актуальный механизм поиска ответов на популярные вопросы, которым смогут пользоваться все сотрудники компании.
Вывод и рекомендации
Быть профессионалом в области продуктовой аналитики — это не про то, чтобы просто создавать навороченные дэшборды с красивым визуалом. Это про то, чтобы идти путем любознательности к глубокому пониманию своего продукта и пользователей, и использовать находки на этом пути как топливо для постоянного развития — во благо продукта и пользователей.