A/B тест — это метод проверки гипотезы, когда часть пользователей видит версию A (контроль), другая часть — версию B (изменение). Цель: понять, дало ли изменение измеримый эффект.
Когда A/B тест нужен, а когда нет
A/B тест нужен, когда: есть чёткая гипотеза («изменение X увеличит метрику Y»), достаточно трафика для достоверного результата, изменение касается элемента с реальным влиянием (текст кнопки, шаг онбординга, цена).
A/B тест не нужен, когда: аудитория слишком мала (результат будет недостоверным), изменение очевидно (критический баг, грубая ошибка в интерфейсе), решение нужно принять быстро — тогда запускайте и смотрите метрики после.
Шаг 1: Сформулируйте гипотезу
Гипотеза по формуле: «Если мы [изменение], то [метрика] [вырастет / снизится] на [N%] потому что [логика]». Пример: «Если мы поменяем текст кнопки с "Зарегистрироваться" на "Начать бесплатно", конверсия в регистрацию вырастет на 10%, потому что фокус смещается с действия на ценность».
Шаг 2: Определите метрику успеха
Одна основная метрика (primary metric) — та, по которой будете принимать решение. Несколько вторичных — чтобы убедиться, что улучшение одного не ломает другое (guardrail metrics).
Шаг 3: Рассчитайте размер выборки
Это важно: запустить тест на 100 пользователях и сделать вывод — статистическая ошибка. Используйте калькулятор выборки (например, Evan Miller Sample Size Calculator): укажите текущую конверсию, ожидаемый прирост, уровень доверия (обычно 95%).
Пример: если текущая конверсия 5% и ожидаете прирост до 5.5%, нужно ~14 000 пользователей на каждую группу.
Шаг 4: Запустите и ждите
Разделите аудиторию случайно (50/50 или другое соотношение). Не смотрите результаты каждый день — раннее прерывание искажает результат. Дождитесь расчётной выборки или минимум 1–2 недели для учёта дней недели.
Шаг 5: Интерпретируйте результаты
Смотрите на p-value: если < 0.05 — результат статистически значим. Но статистическая значимость ≠ практическая: прирост конверсии на 0.1% может быть значимым, но не стоить усилий. Оценивайте в деньгах и усилиях.
Итог: A/B тест — мощный инструмент, если соблюдать правила: одна гипотеза, достаточная выборка, ожидание результата до конца. Без этого тест даёт иллюзию данных, а не реальный инсайт.