По прошлому посту. Вот наверняка хотели сделать обычный поручень, но конечный пользователь воспринимает совсем иным способом (кто голосовал «другое» - напишите в личку - что, интересно :) ).
Так получаеться потому что клиент смотрит на все наши бизнес процессы «снаружи» и видит только «поверхность» бизнеса в точках где с ним взаимодействует.
Для того чтобы воздействие на клиента достигало необходимых целей проводят А/В тестирование на определённой группе. С группой А не взаимодействуют, с группой В взаимодействуют. Тип взаимодействия любой - от непосредственно контакта до редизайна иконок заказа на сайте электронной коммерции.
При этом стараются обычно работать с минимальными группами, пока гипотеза не подтвердиться - чтобы сократить стоимость исследования и «не портить» основную группу. Поэтому часто группы могут слишком маленькие, чтобы реально показать результат и влияние случайных факторов перекрывает объективный результат.
Чтобы быть объективно уверенным в результате применяют А/А тестирование - берут две одинаковые группы (это можно и для А группы и для В группы) и одинаково с ними работают (или не работают). В результате сравнивают были ли отклонения у этих групп между собой? Если отклонения значительные, то группа для тестирования слишком мала и влияние случайных процессов слишком велико, чтобы увидеть результат нашего целенаправленного воздействия.