Для тех кто интересуется пониманием содержания данных, data understanding, держу в курсе проекта metacrafter [1]. В него добавилось ещё несколько десятков правил идентификации типов данных. Теперь там присутствуют многие типы данных из анлоязычных датасетов связанных с датой и временем, геоданными итд. Всего 109 правил для более чем 60 типов данных. А также обновился реестр семантических типов данных metacrafter-registry [2], туда были добавлены типы данных хэшей используемых при анализе ПО и других задачах таких как telhash, imphash, rich pe header и ещё многое другое. А также актуализирована связь типов данных со свойствами Wikidata. Я напомню что metacrafter - это օpen-source продукт для анализа СУБД и наборов данных и разметки смысла данных в отдельных полях/колонках. С его помощью можно, например, выявлять персональные данные. В продукте используются правила написанные регулярными выражениями и функциями на Python, но так чтобы без существенной потери производительности. Наша команда, также, разрабатывает правила за пределами open source продукта, позволяющие идентифицировать отраслевые и иные специфичные данные. Например, это ещё более 100 правил используемых для анализа данных на русском и французском языках. Ссылки: [1] https://github.com/apicrafter/metacrafter [2] github.com/apicraf…registry #opensource #datatools #data