Про исследования или закон малых чисел До сих пор мой опыт в исследованиях был не сильно прокачен. Мне казалось, что глубокая проработка персон и небольшая, но тщательная выборка респондентов даст максимально полную картину. С опытом вся моя уверенность в таком подходе рассеилась. Представьте себе ситуацию. Вы уверены в том, что для того, чтобы проверить конверсию регистрации сайта достаточно 20 респондентов. Найдя в этом небольшом количестве казуальных связей логику, вы с легкостью примите это за статистический результат и довольные примете решение. Но если этот же тест провести на 200, 2000 человек, то результат может быть совершенно непредсказуемым и из 40% респондентов, которые подтвердили вашу гипотезу в первом случае, скатитесь до 0,4% и тогда решение будет разбито в пух и прах. А теперь представьте себе сосуд, наполненный небольшими шариками. Половина из них красные, половина, – белые. Затем представьте, очень терпеливого человека, который вслепую достает по 4 шарика, записывает число красных и число попавшихся белых и бросает их обратно. Так повторяется много много раз. Если обобщить результаты, то обнаружится, что сочетание “два белых, два красных” появляется почти в 6 раз чаще, чем “4 белых” или “4 красных”. Это соотношение – математический факт. А теперь давайте представим, что другой человек достает по 7 шариков. Оба они делают отметку каждый раз, когда достают все одинаковые шарики. По статистике первый человек будет доставать одинаковые шарики гораздо чаще, чем второй (12,5 и 1,56% соотвественно). И вновь просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7. Для исследователя изменчивость выборки – это скорее помеха, чем просто неудобство, но то, что бОльшая выборка дает более точные результаты – факт. Зачастую малая выборка дает риски не подтвердить гипотезу до 50%. Поэтому теперь я стараюсь относиться к своим статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями. Чем больше, тем лучше.