Ошибка ложного срабатывания в A/B тестах случается, когда вы делаете выводы до того, как собрали необходимое количество данных.
Избежать этой ошибки и закончить A/B тест раньше можно с помощью последовательного сэмплирования.

Павел Левчук рассказал, как использовать этот метод:
https://www.owox.com/c/2li