ANÚNCIO

~/questoes/dados

Por que Parquet é preferível ao CSV para armazenamento em um Data Lake?

Responda, confira o feedback e use o resultado para orientar sua revisão.
Dados e BI Parquet Iniciante
Aula de referência Construa seu Primeiro Data Lake com Python + DuckDB + Parquet (Do Zero!) | Portfólio 2025 em Dados
Para fixar

Por que Parquet é preferível ao CSV em um Data Lake

Conceito central

Parquet é um formato de armazenamento colunares que permite ler apenas as colunas necessárias, oferece compressão eficiente e preserva automaticamente os tipos de dados. Em Data Lakes, essas características economizam memória, banda passante e evitam erros de conversão de tipo.

Por que essa resposta faz sentido

Parquet destaca-se porque permite leitura seletiva de colunas (sem descompactar tudo), oferece compressão muito mais eficiente que CSV e mantém os tipos de dados nativamente, características essenciais quando você trabalha com volumes grandes de dados em um Data Lake.

Armadilhas comuns

  • Confundir Parquet apenas com dados estruturados: na verdade, funciona bem com qualquer tipo de dado armazenado em um Data Lake.
  • Pensar que CSV é mais acessível ou simples: embora CSV seja fácil de ler, em Data Lakes reais você perde performance e precisa gerenciar tipos manualmente.
  • Ignorar a economia de banda passante: ler apenas as 2 colunas necessárias de um arquivo Parquet com 50 colunas faz enorme diferença em armazenamento na nuvem.

Entenda as alternativas

A

Inverteu os benefícios: é o Parquet que oferece melhor compressão e leitura de colunas específicas, não o CSV. CSV armazena dados linha por linha e requer decompressão completa para análises.

B

Contrário ao que ocorre na prática. Parquet tem suporte robusto em Python (bibliotecas PyArrow, Pandas) e DuckDB integra nativamente. A simplicidade do CSV não compensa as limitações de performance e flexibilidade em Data Lakes.

C

Resposta correta. Parquet permite ler colunas específicas sem carregar tudo na memória, comprime dados de forma inteligente por coluna e preserva tipos nativamente. Esses três fatores são críticos para eficiência em Data Lakes.

D

Generalização incorreta. Parquet funciona muito bem com dados semi-estruturados e até não-estruturados dentro de Data Lakes. CSV não é necessariamente melhor para esses casos; na verdade, Parquet oferece vantagens em qualquer volume de dados.

Dica prática: Na próxima vez que processar dados em Python, compare o tempo de leitura de um arquivo CSV versus Parquet usando `pd.read_csv()` e `pd.read_parquet()`. Você verá que Parquet é significativamente mais rápido, especialmente com arquivos maiores que 100 MB.

Revise pensando: Se você tem um arquivo com 100 colunas mas precisa apenas de 5 para sua análise, qual formato economiza mais memória e tempo: CSV ou Parquet? Por quê?