~/questoes/dados
DuckDB é otimizado para trabalhar com diferentes formatos de arquivo, mas alguns oferecem muito melhor performance que outros. O formato escolhido impacta diretamente na velocidade de leitura, compressão de dados e consumo de memória durante análises em larga escala.
Parquet é o formato ideal para DuckDB porque combina compressão eficiente com leitura rápida. Ele foi projetado especificamente para análise de dados em colunas, permitindo que DuckDB leia apenas as colunas necessárias sem carregar tudo na memória, resultando em queries muito mais rápidas.
CSV é um formato texto simples que não oferece compressão nativa. DuckDB precisa parsear todo o arquivo, tornando-o ineficiente para datasets grandes. CSV é útil para importação de dados, mas não para análises repetidas e em larga escala.
JSON é flexível mas ineficiente para análise de dados. Ele não oferece compressão nativa e requer parsing completo do arquivo. Além disso, a estrutura aninhada de JSON não é otimizada para operações analíticas que DuckDB realiza.
Formatos binários proprietários podem ser rápidos, mas não são portáveis nem padronizados. Parquet, sendo um formato aberto e com suporte universal, oferece melhor performance e compatibilidade sem sacrificar a velocidade.
Parquet oferece compressão eficiente de dados e permite que DuckDB leia apenas as colunas que precisa. Esse design orientado a colunas, combinado com compressão nativa, torna Parquet o formato ideal para análises em larga escala com DuckDB.