Я регулярно рассказываю о том над чем я лично работаю над глобальным поисковиком по данным Common Data Index и могу уже показать демо поиска по датасетам. Пока без дизайна, без карточек датасетов, без ещё многого.
Зато очень быстро, с более чем 3.3 миллионами наборов данных. Причём добавление большего числа наборов данных не проблема.
Общий объём метаданных в поиске 7.5Gb, а сам поисковый индекс занимает 65Gb.
Много работы уходит на стандартизацию данных из разных источников, но это интересная гибридно аналитическая и инженерная работа.
Пока по плану ближе к концу августа будет публичный сервис поиска.
#opendata #datacatalogs #datasearch