Я регулярно рассказываю про работу над выявлением смысловых типов данных, это моя любимая тема в работе с данными - семантические типы данных. Я писал об этом большой текст на английском языке [1] и про проекты metacrafter [2] по идентификации типов данных и metacrafter-registry [3] реестр семантических типов данных.
В них пока небольшие, но обновления.
1. В реестр добавлены много типов персональных данных в реестр, например, идентификаторы паспортов [4] и водительских удостоверений. Везде где возможно приведены регулярные выражения для проверки этих типов данных.
2. Добавлены новые правила идентификации смысловых полей для русского и французского языка. Теперь можно использовать metacrafter на русскоязычных и франкоязычных наборах данных.
И, конечно, всё это расширяемые проекты и если какие-то данные ещё не идентифицируются, то их можно добавить.
А я напомню что metacrafter сейчас используется в другом нашем проекте Datacrafter для идентификации типов данных в каталоге [7].
Ссылки:
[1] medium.com/@ibegti…a60a467b
[2] https://github.com/apicrafter/metacrafter
[3] github.com/apicraf…registry
[4] registry.apicrafter.io/datatyp…passport
[5] registry.apicrafter.io/datatyp…riverlic
[6] github.com/apicraf…in/rules
[7] https://datacrafter.ru/class
#opensource #datatools #data #dataengineering