Если не хватает трафика для A/B-тестирования
Дано: онлайн-магазин с месячной аудиторией 10 тысяч пользователей.
Гипотеза: Сейчас при оформлении заказа пользователь должен авторизоваться. Кажется, что это действие сильно роняет конверсию в заказ. Если перенести авторизацию на экран успешной покупки или хотя бы сделать её опциональной, конверсия вырастет.
Проблема: Текущая конверсия в заказ 6,5%. Чтобы поднять её на 10% и задействовать при этом две тестовые группы, нужно 70 тысяч пользователей (7 месяцев наблюдений) 🫠
Решение:
1️⃣ Свести к минимуму количество тестовых групп: убираем одну с опциональным шагом авторизации, так как эта полумера не несет большого смысла, и получаем 45 тысяч пользователей (4,5 месяца).
2️⃣ Выбрать более высокую базовую конверсию: планируемое изменение лишь косвенно влияет на конверсию в заказ, поэтому берем в расчет конверсию нажатия кнопки «Оплатить» 7,5% и сужаем выборку до 40 тысяч пользователей (4 месяца).
3️⃣ Увеличить размер изменения, который ожидаем увидеть: меняем 10% на 20% — теперь нужно 10 тысяч пользователей (один месяц).
4️⃣ Свести точность оценок на минимум: необязательно, но позволяет уложиться в 2 недели.
Такой кейс разобрала Аня Лазуткина в своем мини-курсе «Заметки продуктового менеджера». Все 15 выпусков доступны по подписке Epic+.
Смотреть видео
Узнать подробнее про курс