10 советов менеджерам по продукту о формировании гипотез в медиа
Автор блога Media Skunk Михаил Калашников об основных методах отработки предположений.
В избранное
Часто говорят, что главное умение продакт-менеджера — формулировать и проверять гипотезы (а вовсе не интегрировать между собой Slack, Trello и Jira). Посмотрели на метрики, придумали, что поменять, сделали, посмотрели, стало ли лучше. Проверили десять гипотез — две сработали, продукт стал божественным.
Звучит просто: в любом продукте есть куча всего, что можно поменять. Таббар на сайдбар, левую колонку на правую, клик на скролл и так далее. Но есть нюанс, понимание которого приходит с опытом.
Важно, чтобы гипотезы были существенно разными. Если вы передвинули кнопку сначала в одно место, потом в следующее и покрасили её в новый цвет, вы мало что нового узнали о продукте. А задача продакт-менеджера — узнавать о своей предметной области как можно больше, в том числе и в ходе неудачных проверок.
Локальная оптимизация поможет вам забраться на маленький холм, но настоящие горы успеха могут располагаться где угодно. Вы не найдете их, если не попробуете двигаться в как можно более разные направления (а также важно при этом достаточно далеко шагать, но об этом уже в другой раз).
Теперь покажу, как на самом деле это выглядит.
Допустим, вы работаете в медиа и обнаружили, что только 10% пользователей дочитывают до конца тексты на сайте, а 60% «отваливаются», прочитав не больше трети (все цифры вымышлены). Вы не знаете, что было раньше и что в среднем принято в отрасли (конкуренты лживые бездарности, счетчик только вчера поставили). Но всё же чувствуете, что это как-то не очень. Что можно сделать? 1. Проверить счетчики
Системы аналитики иногда дают сбой, счетчики могут стоять неправильно или отсылать не то, что нужно. Хорошо иметь две или больше систем аналитики, чтобы вовремя такое замечать. Всегда стоит обращать внимание на связанные метрики: скажем, если число пользователей превышает число сессий, это должно вас насторожить.
По моему опыту, ошибки — чуть ли не основная причина аномалий в метриках. Особенно важно проверять достоверность цифр, если вдруг начался бурный рост. Опытный менеджер по продукту знает: если метрика выросла без веских причин, то либо сбились счетчики, либо нужно найти, что при этом упало. Хорошее не происходит случайно. 2. Проверить внешние факторы и отсечь шум
Например, отдел маркетинга мог вчера завести на проект кучу нецелевой аудитории. Или у вас есть ярко выраженная сезонность (читают только в рабочее время, а были выходные). Возможно, если очистить данные и подождать подольше, всё начнет выглядеть гораздо лучше.
Один из жизненных вариантов: у вас может быть так мало текстов или пользователей, что все сложные метрики просто не будут иметь смысла и статистической значимости. 3. Проверить технические ошибки
Например, если у вас в середине текста рекламное видео со звуком — люди пугаются, злятся и закрывают текст. Или, допустим, верстка ломается везде, кроме Safari, а все в вашей компании используют только Macbook и iPhone и не знают об этом (обычная история для рекламных агентств).
Эти три пункта нужно рассматривать всегда в первую очередь перед тем, как что-либо менять. 4. Адаптировать бизнес
Есть такая игра на совещаниях. Вы долго обсуждаете продукт, механики, процессы и что угодно ещё, а потом кто-то с бесконечно уставшим, но просветленным видом произносит: «А давайте посмотрим на это с точки зрения бизнеса». Кто сделает это первым, тот и победил, все остальные наказаны острым ощущением своей неэффективности.
Хороший ход — перенести баннеры из-под текста наверх. Еще один можно поставить на 30% текста. Быстро, дешево и эффективно. Вы не узнаете ничего нового, но потратите мало времени и даже что-то заработаете (по крайней мере, в ближайшей перспективе). 5. «Давайте заставим пользователей дочитывать до конца»
Звучит странно, но так постоянно делают в основном те, кто плохо понимает аудиторию. Я читал написанные всерьез тексты о том, как будить уснувших пользователей лонгридов, вставив, например, в середину видео или интерактивный блок. В этом случае можно сделать pop-up, который будет переспрашивать у недочитавшего, действительно ли он хочет закрыть страницу. Чуть более гуманный вариант пробовал The New Yorker: можно отправить себе текст на почту с закладкой на нужном месте.
Этот подход прост и механистичен, и поэтому его так любят начинающие: нарисуем красную стрелочку, немного подергаем нужный блок, сделаем pop-up на весь экран, пообещаем денег за действие. «Нет времени объяснять, жми сюда». Не то чтобы это совсем не работало, просто такой подход дает мало информации и не решает саму проблему. Вы компенсируете свой недостаток эмпатии и знаний за счет комфорта пользователя. А люди на длинной дистанции предпочитают, чтобы к ним относились как к людям. 6. «Давайте найдем новых пользователей получше»
Даже в плохих метриках можно найти что-то хорошее. Целых 10% пользователей дочитывают ваши тексты до конца. Кто они? Давайте найдем больше похожих людей и будем писать только для них.
Это типичный подход стартапов, которые ищут соответствие продукта и рынка. Особенно стартапов вида «мы сделали штуку и теперь пытаемся понять, зачем». Для зрелых и массовых проектов это не всегда реально. 7. Пользователи и контент отличные, что-то не так в представлении продукта
Что может мешать человеку дочитать текст, который он хочет дочитать?
Например, у вас много аудитории возрастом за 50 лет, а шрифт очень мелкий — людям тяжело читать. Или всплывает окошко «Подписаться на нас в социальной сети Facebook», которое трудно закрыть, и люди уходят. Похоже на техническую ошибку, но сложнее отлавливается и требует некоторого озарения. Впрочем, именно на такие вещи люди чаще всего жалуются, поэтому полезно посмотреть всё, что пишут о проекте в поддержку или где-то снаружи. 8. Оставляем только хороший контент или ищем новый
Тут есть два подхода, и оба правильные. Можно изучить, чем выделяются статьи, которые дочитывают чаще обычного: тематика, авторы, время публикации. После этого начать делать больше такого и меньше всего другого. Крайне желательно при этом понимать, что такое «статистическая значимость».
Второй вариант (особенно если ничего выделить не удалось) — поискать новых авторов, темы и форматы. Совершенно естественный для редактора, но не всегда приходящий в голову продакт-менеджеру. 9. Принимаем, что пользователи отравлены социальными сетями и в принципе не могут читать статьи до конца
Что если делать тексты в три раза короче, чем сейчас? Может, тогда их получится делать в два раза больше и всем станет только лучше? 10. Принимаем, что мы не умеем писать статьи
Если какая-то штука плохо работает, часто её правильно закрыть, а не лечить. Как вариант — купить у тех, кто умеет делать правильно, и не мучиться.
И вообще, кто сказал, что ваше главное умение именно в том, чтобы писать статьи о чем-то? Может, на самом деле вы совсем про другое? Что дальше
Даже это не полный список направлений, а в более сложных продуктах и ситуациях вариантов может быть еще больше. Здесь важна интуиция: опытный и хорошо информированный мозг сам отбрасывает те варианты, которые нет смысла рассматривать (дорогие, маловероятные, с низкой потенциальной отдачей). Но умение увидеть разные объяснения и, соответственно, разные потенциальные решения — важное качество, которое стоит тренировать.
В избранное
Часто говорят, что главное умение продакт-менеджера — формулировать и проверять гипотезы (а вовсе не интегрировать между собой Slack, Trello и Jira). Посмотрели на метрики, придумали, что поменять, сделали, посмотрели, стало ли лучше. Проверили десять гипотез — две сработали, продукт стал божественным.
Звучит просто: в любом продукте есть куча всего, что можно поменять. Таббар на сайдбар, левую колонку на правую, клик на скролл и так далее. Но есть нюанс, понимание которого приходит с опытом.
Важно, чтобы гипотезы были существенно разными. Если вы передвинули кнопку сначала в одно место, потом в следующее и покрасили её в новый цвет, вы мало что нового узнали о продукте. А задача продакт-менеджера — узнавать о своей предметной области как можно больше, в том числе и в ходе неудачных проверок.
Локальная оптимизация поможет вам забраться на маленький холм, но настоящие горы успеха могут располагаться где угодно. Вы не найдете их, если не попробуете двигаться в как можно более разные направления (а также важно при этом достаточно далеко шагать, но об этом уже в другой раз).
Теперь покажу, как на самом деле это выглядит.
Допустим, вы работаете в медиа и обнаружили, что только 10% пользователей дочитывают до конца тексты на сайте, а 60% «отваливаются», прочитав не больше трети (все цифры вымышлены). Вы не знаете, что было раньше и что в среднем принято в отрасли (конкуренты лживые бездарности, счетчик только вчера поставили). Но всё же чувствуете, что это как-то не очень. Что можно сделать? 1. Проверить счетчики
Системы аналитики иногда дают сбой, счетчики могут стоять неправильно или отсылать не то, что нужно. Хорошо иметь две или больше систем аналитики, чтобы вовремя такое замечать. Всегда стоит обращать внимание на связанные метрики: скажем, если число пользователей превышает число сессий, это должно вас насторожить.
По моему опыту, ошибки — чуть ли не основная причина аномалий в метриках. Особенно важно проверять достоверность цифр, если вдруг начался бурный рост. Опытный менеджер по продукту знает: если метрика выросла без веских причин, то либо сбились счетчики, либо нужно найти, что при этом упало. Хорошее не происходит случайно. 2. Проверить внешние факторы и отсечь шум
Например, отдел маркетинга мог вчера завести на проект кучу нецелевой аудитории. Или у вас есть ярко выраженная сезонность (читают только в рабочее время, а были выходные). Возможно, если очистить данные и подождать подольше, всё начнет выглядеть гораздо лучше.
Один из жизненных вариантов: у вас может быть так мало текстов или пользователей, что все сложные метрики просто не будут иметь смысла и статистической значимости. 3. Проверить технические ошибки
Например, если у вас в середине текста рекламное видео со звуком — люди пугаются, злятся и закрывают текст. Или, допустим, верстка ломается везде, кроме Safari, а все в вашей компании используют только Macbook и iPhone и не знают об этом (обычная история для рекламных агентств).
Эти три пункта нужно рассматривать всегда в первую очередь перед тем, как что-либо менять. 4. Адаптировать бизнес
Есть такая игра на совещаниях. Вы долго обсуждаете продукт, механики, процессы и что угодно ещё, а потом кто-то с бесконечно уставшим, но просветленным видом произносит: «А давайте посмотрим на это с точки зрения бизнеса». Кто сделает это первым, тот и победил, все остальные наказаны острым ощущением своей неэффективности.
Хороший ход — перенести баннеры из-под текста наверх. Еще один можно поставить на 30% текста. Быстро, дешево и эффективно. Вы не узнаете ничего нового, но потратите мало времени и даже что-то заработаете (по крайней мере, в ближайшей перспективе). 5. «Давайте заставим пользователей дочитывать до конца»
Звучит странно, но так постоянно делают в основном те, кто плохо понимает аудиторию. Я читал написанные всерьез тексты о том, как будить уснувших пользователей лонгридов, вставив, например, в середину видео или интерактивный блок. В этом случае можно сделать pop-up, который будет переспрашивать у недочитавшего, действительно ли он хочет закрыть страницу. Чуть более гуманный вариант пробовал The New Yorker: можно отправить себе текст на почту с закладкой на нужном месте.
Этот подход прост и механистичен, и поэтому его так любят начинающие: нарисуем красную стрелочку, немного подергаем нужный блок, сделаем pop-up на весь экран, пообещаем денег за действие. «Нет времени объяснять, жми сюда». Не то чтобы это совсем не работало, просто такой подход дает мало информации и не решает саму проблему. Вы компенсируете свой недостаток эмпатии и знаний за счет комфорта пользователя. А люди на длинной дистанции предпочитают, чтобы к ним относились как к людям. 6. «Давайте найдем новых пользователей получше»
Даже в плохих метриках можно найти что-то хорошее. Целых 10% пользователей дочитывают ваши тексты до конца. Кто они? Давайте найдем больше похожих людей и будем писать только для них.
Это типичный подход стартапов, которые ищут соответствие продукта и рынка. Особенно стартапов вида «мы сделали штуку и теперь пытаемся понять, зачем». Для зрелых и массовых проектов это не всегда реально. 7. Пользователи и контент отличные, что-то не так в представлении продукта
Что может мешать человеку дочитать текст, который он хочет дочитать?
Например, у вас много аудитории возрастом за 50 лет, а шрифт очень мелкий — людям тяжело читать. Или всплывает окошко «Подписаться на нас в социальной сети Facebook», которое трудно закрыть, и люди уходят. Похоже на техническую ошибку, но сложнее отлавливается и требует некоторого озарения. Впрочем, именно на такие вещи люди чаще всего жалуются, поэтому полезно посмотреть всё, что пишут о проекте в поддержку или где-то снаружи. 8. Оставляем только хороший контент или ищем новый
Тут есть два подхода, и оба правильные. Можно изучить, чем выделяются статьи, которые дочитывают чаще обычного: тематика, авторы, время публикации. После этого начать делать больше такого и меньше всего другого. Крайне желательно при этом понимать, что такое «статистическая значимость».
Второй вариант (особенно если ничего выделить не удалось) — поискать новых авторов, темы и форматы. Совершенно естественный для редактора, но не всегда приходящий в голову продакт-менеджеру. 9. Принимаем, что пользователи отравлены социальными сетями и в принципе не могут читать статьи до конца
Что если делать тексты в три раза короче, чем сейчас? Может, тогда их получится делать в два раза больше и всем станет только лучше? 10. Принимаем, что мы не умеем писать статьи
Если какая-то штука плохо работает, часто её правильно закрыть, а не лечить. Как вариант — купить у тех, кто умеет делать правильно, и не мучиться.
И вообще, кто сказал, что ваше главное умение именно в том, чтобы писать статьи о чем-то? Может, на самом деле вы совсем про другое? Что дальше
Даже это не полный список направлений, а в более сложных продуктах и ситуациях вариантов может быть еще больше. Здесь важна интуиция: опытный и хорошо информированный мозг сам отбрасывает те варианты, которые нет смысла рассматривать (дорогие, маловероятные, с низкой потенциальной отдачей). Но умение увидеть разные объяснения и, соответственно, разные потенциальные решения — важное качество, которое стоит тренировать.
Ещё новости по теме:
18:20