Гипотеза — основа продуктового мышления. Плохо сформулированная гипотеза ведёт к плохим решениям даже при хорошем тесте.
Структура хорошей гипотезы
Формат: «Мы верим, что [действие] для [сегмента] приведёт к [метрика изменится на X], потому что [обоснование].»
Пример плохой гипотезы: «Если улучшить онбординг, retention вырастет.»
Пример хорошей гипотезы: «Мы верим, что сокращение онбординг-флоу с 7 до 3 шагов для новых пользователей мобильного приложения приведёт к росту Day-7 retention с 25% до 30%, потому что пользовательские интервью показали: 60% бросают на 4-5 шаге считая процесс слишком длинным.»
Четыре элемента хорошей гипотезы
1. Конкретное действие: что именно меняем 2. Сегмент: для кого 3. Измеримый результат: какая метрика, на сколько 4. Обоснование: почему думаем что это сработает
Как избежать confirmation bias
Confirmation bias — тенденция искать подтверждение тому во что верим. Противоядие:
- Формулируйте нулевую гипотезу: «изменение не повлияет на метрику»
- Задайте критерий фальсификации: при каком результате признаём что гипотеза неверна?
- Дайте другому PM или аналитику найти аргументы против вашей гипотезы
Приоритизация гипотез
Перед тестированием оцените каждую гипотезу по:
- Impact (насколько большой эффект ожидаем?)
- Confidence (насколько уверены в обосновании?)
- Effort (сколько стоит проверить?)
Итог: хорошая гипотеза содержит конкретное действие, сегмент, измеримый результат и обоснование. Формулируйте так, чтобы знать заранее при каком результате признаёте её опровергнутой.