Канал про системный анализ и управление IT-проектами. Обзоры книг по тематике, истории про IT-компании и полезная информация для аналитиков и менеджеров.
Ответ на задачу второй недели: утверждать, что вторая версия попапа хуже, нельзя.
Даже без знания статистики понятно, что выборки в 10 человек недостаточно, чтобы сделать выводы - наблюдаемая разница вполне может быть случайной. Чтобы понять, какой выборки было бы достаточно, надо знать о том, что такое статистическая значимость.
Статистическая значимость - это мера уверенности в том, что результат, который вы получили, не является случайным. Такой результат называется статистически значимым.
Зная формулы, можно посчитать: —сколько человек нам нужно в выборках, на которых мы тестируем попапы, чтобы утверждать, что разница в конверсиях не случайна. — можем ли мы по результатам текущей выборки утверждать, что результат статистически значим
Здесь вот чуть подробнее простым языком, а вот тут и тут онлайн-калькуляторы для расчетов.