Ключевые свойства метрик. Продолжаем заметки из чата. Ключевые свойства метрик какие? Верно - Направленность, Чувствительность Интерпретируемость Надежность Разбираемся что всё это значит. Направленность. Хорошая метрика не должна иметь расхождений с известными вердиктами экспериментов. То есть, хорошая метрика обязана иметь ясную интерпретацию направления ее изменения. И это является одним из ключевых критериев при выборе метрики, потому что без этого свойства аналитик не может принимать правильные решения об успешности или неуспешности тестируемого обновления продукта или веб-сервиса. Соответственно, сонаправленость - это когда эффект одинаков по знаку и пропорционален (аддиктивно/мультипликативно [1]) по размеру. Чувствительность - способность метрики показывать стат. значимую разницу в случаях, когда есть разница между контролем и экспериментом. Чем выше чувствительность, тем меньшие изменения могут быть замечены и тем меньший размер выборки может быть использован Интерпретируемость — это свойство метрики, которое показывает, что структуру этой метрики может объяснить человек. При этом структура метрики не должна противоречить данным, на которых эта метрика основана. То есть интерпретируемость это про то, что метрике можно доверять. Надежность – отсутствие у метрики известных уязвимостей. Как построить надежную метрику? Проанализировать, что в метрике зависит от юзера, а что от самого сервиса, руководствуясь принципом «Решение за пользователем». То есть, важно чтобы сервис мог воздействовать на метрику только через поведение пользователя и только через качество сервиса. Пример. Рассмотрим среднее время, которое пользователь тратит на покупки в интернет-магазине: - если рассматривать только «удобство сайта», то метрика надежна - если сравнивать товарный ассортимент, то метрика манипулируема увеличением/уменьшением ассортимента. В математическом смысле Надежность = 1 – вероятность ошибки первого рода [2]. Нередки случаи, когда команда вырастила метрику на какое-то количество процентных пунктов, но при разложении этой метрики, на метрики, которые лучше проксируют и/или отсекают наличие статистически значимых изменений, эффект не наблюдается. Таким образом, получается что работа была проделана впустую, а исходная метрика была ненадежной. Прокси-метрику следует искать именно через направленность, так как способы поиска прокси-метрики, например, через корреляцию - спорные. При этом, важно различать высокочувствительные и низкочувствительные метрики. Для прокси низкочувствительных метрик вполне можно использовать данные корреляции t-статистик [3] Допматериалы: - Как строить метрики https://youtu.be/-e3PqKqG2CU - Как искать прокси метрики в продуктах https://youtu.be/fSRKOr3L6AI - Мануал по измерениям exp-platform.com/Documen…rics.pdf Уточнения и ссылки: 1. Модели, где временной ряд представлен в виде суммы перечисленных компонентов называются аддитивными, если в виде произведения – мультипликативными моделями. + несколько хороших учебных курсов (бесплатных) по теории временных рядов: а) univer-nn.ru/ekonome…ya-model б) machinelearningmastery.com/time-se…i-course в) www.coursera.org/learn/t…examples г) www.machinelearningplus.com/time-se…s-python 2. Ошибка первого рода (α-ошибка, ложноположительное заключение) — ситуация, когда отвергнута верная нулевая гипотеза (об отсутствии связи между явлениями или искомого эффекта). Нулевая гипотеза, как мы все знаем, принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями. 3. t-статистика - отношение оценки коэффициента Стьюдента к его стандартной ошибке @internetanalytics