В нашем движке по распознаванию типов данных внутри баз данных, таблиц и файлов теперь 195 правил охватывающих геоданные, данные об организациях, о людях, о медицинских препаратах, финансах, госфинансах, справочниках и классификаторах и так далее. Прежде чем запускать бета-тестирование API, я выложил сам движок как открытый код и он доступен на Github как metacrafter [1]. Главные достоинства по сравнению с аналогичными инструментами: * легко расширяется новыми правилами, правила описываются в файлах в YAML формате * быстро работает без дополнительных расширений. Вместо регулярных выражений используются конечные автоматы PyParsing * обычно такие инструменты работают с колоночными данными, а тут наоборот поддержка любых построчных. * поддерживает MongoDB, любую СУБД через SQL Alchemy, файлы в форматах CSV, JSON, JSON lines, BSON, Parquet * прицел именно на распознавание идентфикаторов, а не просто идентификацию PII. Почему открытый код? Потому что он не единственный такой продукт и именно эта его часть с написанием правил может быть полезна многим. А я лично искренне надеюсь что у него будут пользователи которые помогут с его тестированием и доработкой. Главную коммерческую стоимость здесь имеет не код, а знание как устроены данные и сейчас в открытой версии выложено 25 правил, охватывающие базовые виды данных, а также используется 312 правил-шаблонов определения дат и времени. Движок можно использовать для применения написанных и написания собственных правил. Обратите внимение что в среди правил есть правила идентификации персональной информации (PII). Сейчас нет команды поиска только и именно PII, но это несложно добавить. Плюс в него же встроен веб-сервер для запуска движка распознавания в серверном варианте, с API. Для того чтобы правила и выявляемые идентификаторы были систематизированы, в отдельном репозитории metacrafter-registry [2] доступны данные по всем идентифицируемым объектам. По списку идентификаторов [3] в нём можно понять, то какие правила существуют и какие данные идентифицируются. Этот реестр будет расширяться, дополняться и пополняться. Наше коммерческое API использует этот же движок, включает все 195 правил идентификации объектов и скоро будет доступно для бета-тестирования. Ссылки: [1] https://github.com/apicrafter/metacrafter [2] github.com/apicraf…registry [3] github.com/apicraf…ies.yaml #metadata #data #opensource