Какизмерить влияние эксперимента на продукт
Не всегда бизнес-цель точно описывается одной удобной метрикой. Из-за этого проанализировать результаты А/Б-тестирования бывает проблематично. Но выход есть. Вот, что можно пробовать:
🔸 Искать и валидировать прокси-метрики.
Не можете быстро измерить повторные покупки, зато можете узнать, остался ли пользователь доволен продуктом и рекомендовал ли его еще кому-то.
🔸 Фокусировать все команды на бизнес-метриках.
Определили цель на квартал и проводите большинство экспериментов, чтобы достичь именно её. Гипотезы, которые не решают главную задачу, не тестируете.
Советами поделился Senior Product Manager ML в Booking.соm Андрей Менде в новых выпусках 5-minute Growth. Больше про эксперименты можно узнать именно там.
Смотреть видео
Узнать больше про шоу