О метриках, видеосмотрении и размышления о UX видеоплатформ Вчера вышла статья Александра Тоболя о метриках счастья пользователей (мы с ним работали в Одноклассниках, но никогда вместе не пересекались). Понятно, что статья на VC всегда отредактирована и продиктована целями продаж/PR, но есть кое-что интересное. vc.ru/vk/4565…t-servis Итак, он пишет: Есть несколько метрик, которые помогают отслеживать, насколько аудитория довольна сервисом. Например, CSat — это когда пользователь ставит приложению звёздочки в сторе; NPS — когда советует (или наоборот, не советует) сервис друзьям и коллегам; CSI — баланс ожиданий, полученной пользы и качества; индекс TRIM учитывает опыт использования, готовность рекомендовать продукт и пользоваться им дальше, а также мнение о преимуществах сервиса перед альтернативами. Все эти показатели можно и нужно измерять, проводя опросы. Как связать эти показатели с техническими метриками? Через QoE — Quality of experience. Эта метрика позволяет понять, что испытывает человек, пользуясь сервисом. При этом QoE учитывает разные факторы, влияющие на восприятие системы: от технических (задержки и качество сети) до характеристик устройства и самого пользователя (страна, образование) . Отслеживая эту метрику, можно увидеть, какие изменения в архитектуре сервиса и технологические решения влияют на мнение о продукте. Здесь я вставлю свои пять копеек: но CSI и другие метрики пользовательской удовлетворенности сами по себе не очень постоянны. Плохая погода или политический кризис могут драматически их изменить за считанные дни. Главное - а как отличить метрику CSI, которая говорит о содержании видео и метрику CSI, которая говорит о скорости загрузки, стабильности работы и так далее?Например, есть некрасивый сайт, но с моими любимыми роликами, я его люблю и мне плевать на техническую реализацию скорости загрузки. Для ВК, по словам Тоболя в комментариях, они используют перцентили - те оставляют контрольную группу в которой не катят релизы и апдейты, а затем ее сравнивают с метриками новых юзеров - как отработали за месяц. Хорошо? Казалось бы, да Проблема такого рода контрольных групп в том, что даже на контрольной группе метрики могут изменится из-за неудовлетворенности продуктом: банковские услуги хороший пример. Вы берете кредит, платите 5 лет, а затем вас увольняют. Сервис остался без изменений, вы в контрольной группе, но вам нечем гасить кредит и вы ставите низкие оценки CSI. Типичная история в эпидемию, кстати. Также в обычных продуктовых супермаркетах: вы покупаете всегда любое печенье, но вас увольняют, страна в кризисе, умер бомж у входа в магазин - и ваша метрика удовлетворенности идет вниз, хотя печенька и сервис точно такой же как и 10 лет назад, но вы ставите низкие оценки NPS. Соответственно, ВК идет опять от технологий: Quality of experience - это метрика, которая берет свое начало от телекома и учитывает множество факторов, кроме субъективной оценки пользователей продукта, услуги и/или сервиса. Как я понимаю, прежде всего учитывается уровень ожиданий от качества картинки и сигнала и,кажется, что это хороший подход для разработки и ужасный для бизнеса.