В продолжение предыдущего я ранее писал что разные части наших продуктов APICrafter и Datacrafter мы выложили с открытый доступ [1] Сейчас они используются для сборки нескольких дата-продуктов и появилась возможность выложить несколько новых примеров и актуализировать код открытых репозиториев. В репозитории datacrafter-examples [2] появились 3 новых примера: - itbenef - реестр ИТ компаний получателей налоговых субсидий - itregistry - реестр аккредитованных ИТ компаний - softreg - реестр отечественного ПО Вместо того чтобы размещать сами наборы данных, публикую код с помощью которого они создаются. Потому что первоисточники акцента на данных не делают, данные обычно в Excel форматах или не них нет прямой ссылки. Ну и, конечно, никакие новые полезные данные на госпорталах с открытыми данными вроде data.gov.ru не появляются. Они все используют в качестве источников данные с сайта Минцифры РФ и их информационных систем. Для запуска достаточно установить datacrafter [3] и выполнить команду 'datacrafter run' в директориях с файлами проектов "datacrafter.yml" Причём надо использовать последний код из репозитория поскольку в нем как раз исправлены ошибки обработки Excel файлов. datacrafter - это пока упрощённая, а далее усложняемая NoSQL утилита для задач ETL, по извлечению обработке и загрузке данных. По умолчанию все данные там рассматриваются как JSON/JSON lines и сама утилита включает возможности преобразования плоских файлов в эти форматы. Если найдете ошибки, пишите их в issues репозиториев. Ссылки: [1] https://github.com/apicrafter [2] github.com/apicraf…examples [3] https://github.com/apicrafter/datacrafter #opensource #datatools