A/B-тесты, аудит и кастомизация: как данные помогают улучшать продукт

Правильная интерпретация данных может помочь не просто усовершенствовать продукт, а сделать это в соответствии с ожиданиями и потребностями пользователей.
Илья Колчин, руководитель отдела анализа данных «Учи.ру», рассказал, как Data Science используется в их компании и работает на благо продукта.

Многие компании применяют подход data-driven для принятия решений, влияющих на бизнес. Для нас такой подход — часть корпоративной культуры и всех рабочих процессов. 
Мы накапливаем много данных — более пяти миллионов человек пользуется нашей онлайн-платформой, из которых около 3,6 млн — школьники, которые регулярно решают задания по 12 предметам, участвуют в олимпиадах и играют в обучающие игры.
Около десяти наших продуктовых команд еженедельно запускают новые олимпиады и курсы, делают задания более понятными и интересными, а процесс обучения — продуктивным. В этом помогают данные. На примере трех кейсов мы хотим показать, как data-driven работает на качество продукта.

🔔Data science контролирует достоверность А/В-тестов
А/В-тестирование — это мощный инструмент для оценки улучшений в продукте. С его помощью можно достоверно измерить эффект от атомарных изменений продукта и принять решение о внедрении для всех пользователей. К тому же А/В-тесты дают компании объективную дополнительную информацию о предпочтениях пользователей.
Мы запускаем по несколько А/В-тестов в неделю, десятки из них идут параллельно. При запуске важно заранее определить дату подведения итогов, чтобы избежать так называемой проблемы подглядывания. Она заключается в том, что между тестируемыми группами периодически возникает статистически значимая разница, даже если группы не отличаются. 
Появляется соблазн завершить тест досрочно или, наоборот, подождать подольше, если эффекта не видно. Оба варианта приводят к резкому росту ложноположительных результатов (разницы нет, но мы ее увидели), поэтому мы принимаем решение об успешности теста только один раз — в заранее выбранную дату.
При этом, если заложить на А/В-тест слишком мало времени, то, скорее всего, он будет признан неудачным, если слишком много — потеряем время. 
Достаточное для А/В-теста время зависит от ожидаемого прироста метрики и целого ряда факторов: 
♦️запускаем тест на первый класс или на всех школьников, 
♦️на всех пользователей или только на новых, 
♦️на учеников или на учителей, 
♦️в какое именно время учебного года. 
Причем в зависимости от аудитории теста срок его проведения может отличаться в разы.
Для оценки времени проведения мы разработали калькулятор А/В-тестов, который работает на основе большого количества уже накопленных данных и учитывает специфику каждого теста. С его помощью каждый менеджер может мгновенно получить оценку необходимого на А/В-тест времени с учетом всех факторов.
Data science ускоряет аудит продукта
В интерактивных уроках наших курсов нет разделения на теорию и практику — дети учатся в процессе выполнения заданий. Поэтому они должны быть спроектированы так, чтобы понятно объяснить тему и одновременно тренировать навыки решения. 
Задания обычно проходят тестирование в школах, где методисты могут пронаблюдать, насколько ученикам понятны условия задачи, формат ожидаемого ответа, интерфейс. Но некоторые проблемы на малых выборках могут остаться незамеченными. 
Здесь приходит на помощь изучение данных о детальных действиях учеников внутри заданий: куда кликнули, какие числа ввели, какой ответ выбрали.
Так, например, с помощью анализа данных мы выявили, что в заданиях с элементом «‎барабан» дети ошибаются часто. Дети нажимают на стрелки и меняют варианты ответов, пока не найдут нужный. Смена вариантов анимирована — барабан прокручивается вверх или вниз.
Мы изучили, какие события в этом задании происходили чаще всего: 
♦️что делали дети на странице этого задания, 
♦️какие действия совершали, 
♦️как долго и насколько интенсивно это происходило.