В email-маркетинге (да и вообще в любой ветке маркетинга) норма тестировать разные гипотезы. Цифры — наша опора. Но и они — не гарант, что подписчики отреагируют так, как вы планировали 🧐 Вот представьте — вы делаете две версии письма, рассылаете по разным группам подписчиков и ждете результат. Вариант с лучшими показателями отправляете по всей базе. Но если вы не учли размер выборки или поменяли слишком много элементов в письме, есть риск получить недостоверный результат. И если такое случится, вы даже не поймете, в чем проблема: вы будете думать, что сделали идеальную рассылку, а пользователи — просто отправлять вас в спам 😳 Чтобы такого не происходило, при любом тестировании важно учитывать статистическую значимость. Ее обозначает показатель p-value. Она означает вероятность того, что выборка соответствует всей аудитории, а результаты теста не получились случайно. Обычно необходимым значением p-value считается 95%, а очень хорошим — 99%. Представьте, что у вас есть база на 4000 пользователей. Вы решили протестировать две версии тем — с эмоджи и без. Первое письмо открыли 265 человек, второе — 250. Технически победа присуждается первому варианту. Но любой калькулятор статистической значимости покажет, что достоверность такой проверки около 70%. Для нас это слишком высокий риск ошибиться. Обычно перед запуском тестов на любом проекте мы рассчитываем размер выборки на своём онлайн-калькуляторе, но вы можете использовать сервисы типа Mindbox. Вбиваем средний показатель, ожидаемый прирост, достоверность не ниже 95% и получаем необходимое количество пользователей для проверки. Но это далеко не единственное, что нужно знать о A/B-тестировании. Больше информации, советов и лайфхаков мы рассказали в нашей статье. Проверяйте и берите на вооружение 😉