Обложка канала

Клуб CDO

1243 @cdo_club

Сообщество профессионалов в области работы с данными и ИИ

Клуб CDO

3 года назад
Открыть в
Очень интересная статья от Uber о том, как они борются с такой проблемой как Data Shift. Особенно интересная статистика в разрезе существующих проблем с данными. Для контроля качества компания разработала собственную систему D3 (Dataset Drift Detector). Система отслеживает качество данных в режиме реального времени, красивые дашборды реализованы. В статье так же довольно детально описана архитектура. Вот что у них на постоянном мониторинге: - Null Percentage - False Percentage - Percentile (P50, P75, P99, P1) - Standard Deviation, Mean, Median - Count Distinct www.uber.com/en-BG/b…a-drifts
D3: An Automated System to Detect Data Drifts | Uber Blog

Data powers almost all critical, customer-facing flows at Uber. Bad data quality impacts our ML models, leading to a bad user experience (incorrect fares, ETAs, products, etc.) and revenue loss. Still, many data issues are manually detected by users weeks or even months after they start. Data regressions are hard to catch because the most impactful ones are generally silent. They do not impact metrics and ML models in an obvious way until someone notices something is off, which finally unearths the data issue. But by that time, bad decisions are already made, and ML models have already underperformed.

Uber Blog