Канал про системный анализ и управление IT-проектами. Обзоры книг по тематике, истории про IT-компании и полезная информация для аналитиков и менеджеров.
Про аб-тесты
Я знаю команды, в которых аб-тестят каждую фичу вне зависимости от того, стоит ли вопрос оставлять эту фичу в приложении (возьмём утрированный пример: сменили логотип, нам надо его поменять в приложении, вопрос о том, отменять ли ребрендинг, не стоит).
В этом есть смысл: так можно получить чистую статистику, как влияет именно это конкретное изменение (особенно если в релизе одновременно выходит несколько фич). Снизилось ли количество обращений пользователей, повысилась ли какая-то метрика? Это опыт, который накапливается и иногда даёт инсайты на подумать, даже если ничего не произошло.
Тут вопрос времени, конечно, можно аб-тестить все и инвестировать время в такое вот накопление опыта, а можно аб-тестить только важное.
Но сейчас не об этом: я также знаю команды, которые аб-тестят все, потому что так надо, потому что когда-то потом мы в это посмотрим, но это "потом" никогда не наступает.
Так вот в таком случае лучше остановиться и не тестить ничего. Признать честно - не умеем использовать результаты. И сначала учиться тестить только самое важное, но смотреть на итоги, и только потом тесты расширять.