Хороший обзор прослеживаемости данных (data lineage) [1] от Borja Vazquez из Monzo Bank Прослеживаемость данных - это важная тема, актуальная особенно в корпоративной развитой аналитике и в научной среде, где важна достоверность результатов, или, хотя бы понимаемые уровни отклонения, и важна воспроизводимость результатов. Воспроизводимость результатов особенно актуальна при публикации научных работ, связанных с ними данных и тд. Автор делает акцент на картографии данных в разных разрезах - пользовательского использования, качества данных, производительности и тд. в разных формах картографии данных, в основном вокруг DAG (directed acyclic graph) и потоков обработки данных. Текст короткий, постановка проблем и подходов вполне понятные. Когда-то я также активно занимался картированием данных, в основном для задач, обнаружения данных (data discovery). Это другой подход, его задача идентифицировать основные источники данных в целях: а) Внутреннего аудита б) Создания дата-продукта В итоге вместо того чтобы многие карты данных мы собрали общедоступные источники данных в datacatalogs.ru [2] Ключевая разница между картографией данных на уровне прослеживаемости и картами данных для их обнаружения - в зрелости объектов анализа. В корпоративном мире, как правило, есть возможность влиять на потоки данных, источники данных, процедуры и тд. Ключевой вопрос: "Где проблемы? Как организовать процесс чтобы решать проблемы оперативно?" В работе с открытыми источниками ключевые вопросы: "Как найти источник? Как получить к нему доступы?" Ссылки: [1] medium.com/data-mo…98709ad3 [2] https://datacatalogs.ru #data #dataquality #datamaps #opendata #datalineage