На просторах сети очень много материала посвящено A/B тестами, ведь это самый простой способ принятия решений. Есть гипотеза, запускаем А/B тест и смотрим какой из вариантов показывает лучшие результаты по метрике, которая вам важна (конверсия, ретеншен, деньги и т.д.). Крупные компании, такие как Google или Booking проводят десятки A/B тестов одновременно. Я не буду рассказывать базовые вещи, просто несколько take-aways про A/B тесты:
🥕 Ставьте конкретные цели: увеличение конверсии на 5-10%. Все что ниже – считаем результат не достигнутым.
🥕 Убедитесь, что до начала A/B теста вы не делали каких-то значимых изменений в продукте, которые могут повлиять на результат.
🥕 Указываете стоп-факторый, когда вы прекращаете эксперимент: падение конверсии не больше 9%. Например, вы поставили цель в деньгах (увеличить выручку на 10%) и увеличиваете цену предложения. Очевидно, что конверсия, при увеличении цены, может упасть, но в деньгах вы результат получите. В любом случае стоит предусмотреть некий рубеж, когда вы заканчиваете эксперимент.
🥕 Определите свою аудиторию и необходимый размер выборки, чтобы быть уверенными, что у вас достаточно трафика для статистически значимого результата по цели.
🥕 Определите максимальную стоимость теста для компании.
🥕 Определите срок, после которого вы смотрите на результаты. В связи с доходимостью иногда нужно подождать 1-2 недели, чтобы все пользователи, например, заплатили.
🥕 Всегда 🔪Сегментируйте результаты. Смотрите на изменение параметра в зависимости от канала привлечения или региону. Ведь в целом тест может показать, что показатели “А” лучше, но, например, в UK у группы “В” показатели в разы выше, просто эти данные нивелировались общим количеством пользователей.
🥕 Даже когда вы закончили тест и выбрали вариант, продолжайте следить за показателями.
🥕 Если вы буквально тестируете две новые гипотезы A и В, добавляйте контрольную группу, для которых действует текущий вариант.
🥕 Проверяйте гипотезы на новых пользователях.
Прочитать про A/B тесты можно тут 👉 A/B тест — это просто и еще миллион разных статей.
Хотите управлять постами и выбирать тему следующего поста или и так нормально?🎤 – Да, хочется как-то влиять на посты
🎧 – И так хорошо