Обложка канала

Ivan Begtin

3903 @begtin

I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff

Ivan Begtin

5 лет назад
Открыть в
Про формат Parquet я многократно писал и давал ссылки, а вот сравнение от Databricks его же с CSV [1]. Если кратко то CSV проигрывает Parquet по всем статьям, сравнение проводилось в экосистеме Amazon AWS: - экономия при хранении данных на 87% - в 34 раза быстрее отрабатываются запросы - на 99% меньше данных надо сканировать - финансовая экономия до 99.7% Недостаток Parquet'а для человекочитаемости компенсируется появлением инструментов для GUI и командной строки которые эту проблему снимают. Она, вообще не так значима как кажется. Лично я считаю что статистику, многие другие данные с временными рядами и иные большие наборы данных которые сразу берут в работу аналитики, можно и нужно публиковать сразу в Parquet. Это даёт не только экономию в хранении, но и сильно облегчает работу аналитиков. Тем более что многие инструменты вроде Power BI и Tableau их его поддерживают. Ссылки: [1] https://databricks.com/glossary/what-is-parquet #fileformats #data #parquet
What Is Apache Parquet

Learn more about the open source file format Apache Parquet, its applications in data science, and its advantages over CSV and TSV formats.

Databricks