ANÚNCIO

~/questoes/dados

Qual é o papel do Delta Lake dentro da arquitetura de pipeline ETL em Databricks?

Responda, confira o feedback e use o resultado para orientar sua revisão.
Aula de referência Pipeline ETL Processando 1 Bilhão de Linhas por dia: Databricks, Pyspark, DuckDB e Fireduck
Para fixar

Delta Lake: O Pilar de Confiabilidade em Pipelines ETL

Conceito central

Delta Lake é um formato de armazenamento que adiciona garantias ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao seu data lake, funcionando como uma camada de proteção entre dados brutos e análises finais. Ele mantém histórico de todas as transações e valida a estrutura dos dados automaticamente, garantindo que seu pipeline ETL funcione de forma confiável mesmo em escala de bilhões de linhas.

Por que essa resposta faz sentido

A alternativa C está correta porque Delta Lake oferece exatamente três capacidades críticas: armazenamento ACID (dados nunca ficam corrompidos), histórico de transações (você consegue rastrear e desfazer mudanças) e schema enforcement (a estrutura dos dados é validada automaticamente). Essas garantias são fundamentais quando você processa volumes gigantescos diariamente.

Armadilhas comuns

  • Pensar que Delta Lake resolve apenas problemas na camada bronze, quando na verdade protege dados em qualquer etapa do pipeline
  • Confundir Delta Lake (formato de armazenamento) com orquestração de jobs ou agendadores, que são responsabilidades diferentes
  • Acreditar que Delta Lake substitui completamente outros formatos como Parquet, quando na verdade o usa como base

Entenda as alternativas

A

Embora Delta Lake funcione bem com dados em camadas de bronze, sua função não é limitada apenas à bronze. Ele oferece muito mais: ACID completo, histórico e validação de schema em todas as camadas. Essa alternativa reduz o escopo real do Delta Lake.

B

Delta Lake é um formato de armazenamento, não uma ferramenta de orquestração. Ele não orquestra ou agenda jobs automaticamente. Databricks oferece agendadores à parte, mas essa não é função do Delta Lake. Confundir essas responsabilidades é um erro de arquitetura.

C

Resposta completa e precisa. Delta Lake fornece armazenamento ACID (você pode atualizar dados com segurança), histórico de transações (permite auditoria e rollback), e schema enforcement (rejeita dados que não correspondem à estrutura esperada). Essas três capacidades juntas são o que fazem Delta Lake confiável em produção.

D

Delta Lake não substitui Parquet completamente. Internamente, Delta Lake usa Parquet como formato base e adiciona uma camada de metadados para ACID e histórico. Parquet continua sendo útil em muitos cenários. Delta Lake complementa, não elimina Parquet.

Dica prática: Quando você trabalha com pipelines grandes, sempre use Delta Lake na camada de armazenamento final (gold) e considere usá-lo também em bronze e silver. A garantia ACID evita problemas frustrantes como dados parcialmente escritos ou schema inconsistente que descobrirá apenas quando rodas análises críticas.

Revise pensando: Se seu pipeline falhou no meio da escrita de 500 milhões de registros, como Delta Lake ajuda você a recuperar a situação?