Обложка канала

Ivan Begtin

3903 @begtin

I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff

Ivan Begtin

4 года назад
Открыть в
Я регулярно рассказываю про работу над выявлением смысловых типов данных, это моя любимая тема в работе с данными - семантические типы данных. Я писал об этом большой текст на английском языке [1] и про проекты metacrafter [2] по идентификации типов данных и metacrafter-registry [3] реестр семантических типов данных. В них пока небольшие, но обновления. 1. В реестр добавлены много типов персональных данных в реестр, например, идентификаторы паспортов [4] и водительских удостоверений. Везде где возможно приведены регулярные выражения для проверки этих типов данных. 2. Добавлены новые правила идентификации смысловых полей для русского и французского языка. Теперь можно использовать metacrafter на русскоязычных и франкоязычных наборах данных. И, конечно, всё это расширяемые проекты и если какие-то данные ещё не идентифицируются, то их можно добавить. А я напомню что metacrafter сейчас используется в другом нашем проекте Datacrafter для идентификации типов данных в каталоге [7]. Ссылки: [1] medium.com/@ibegti…a60a467b [2] https://github.com/apicrafter/metacrafter [3] github.com/apicraf…registry [4] registry.apicrafter.io/datatyp…passport [5] registry.apicrafter.io/datatyp…riverlic [6] github.com/apicraf…in/rules [7] https://datacrafter.ru/class #opensource #datatools #data #dataengineering