Обложка канала

Ivan Begtin

3903 @begtin

I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff

Ivan Begtin

4 года назад
Открыть в
Для тех кто интересуется анализом и обработкой данных, большое обновление реестра семантических типов данных который я создавал когда-то для инструментов определения типов данных. Реестр называется metacrafter registry и его репозиторий доступен на github [1]. Обновления: - 158 семантических типов данных - 38 дополнительных шаблона записи данных - 18 категорий, 6 стран и 6 языков. Поддерживаются некоторые типы данных специфичные для США, Великобритании, Франции и Испании и, конечно, России. Например. идентификаторы организаций. Все семантические типы описаны теперь как индивидуальные YAML файлы [2], это значительно упрощает их развитие и обновление. По сути над базой не хватает только веб интерфейса для постоянных ссылок (пермалинков). Зачем это нужно? Этот реестр развитие утилиты metacrafter [3] написанной как универсальный инструмент определения смысловых полей данных в базах данных, вне зависимости от их названия. Утилита умеет работать с SQL, MongoDB, файлами CSV, JSON, JSON lines и BSON․ Определяет десятки типов полей, а самое главное, она расширяема и можно писать свои правила. В опубликованной версии присутствует пара десятков готовых правил, а в нашей внутренней версии в DataCrafter'е, их несколько сотен. Все они сейчас обновляются для привязки к реестру семантических типов. Ссылки: [1] github.com/apicraf…registry [2] github.com/apicraf…atatypes [3] https://github.com/apicrafter/metacrafter #datatools #opensource #datacrafter #apicrafter
GitHub - apicrafter/metacrafter-registry: Registry of metadata identifier entities like UUID, GUID, person fullname, address and so on. Linked with other sources

Registry of metadata identifier entities like UUID, GUID, person fullname, address and so on. Linked with other sources - GitHub - apicrafter/metacrafter-registry: Registry of metadata identifier e...

GitHub