ANÚNCIO

~/questoes/dados

Qual é a função principal da 'raw layer' em uma arquitetura de Data Lake em três camadas?

Responda, confira o feedback e use o resultado para orientar sua revisão.
Aula de referência Construa seu Primeiro Data Lake com Python + DuckDB + Parquet (Do Zero!) | Portfólio 2025 em Dados
Para fixar

A Raw Layer em um Data Lake: Preservando seus Dados Originais

Conceito central

A raw layer é a primeira camada de um Data Lake em três camadas, responsável por armazenar dados exatamente como chegam da fonte original, sem nenhuma transformação. Essa camada atua como uma fonte de verdade imutável, garantindo que você sempre tenha acesso aos dados originais para futuras reprocessagens ou auditorias.

Por que essa resposta faz sentido

A alternativa A está correta porque a raw layer foi criada justamente para preservar dados brutos no formato original. Essa abordagem permite que você mantenha histórico completo e confiável, além de possibilitar reprocessar os dados com novas regras ou lógicas no futuro sem perder informação.

Armadilhas comuns

  • Confundir raw layer com curated layer: lembrar que raw = bruto e sem processamento, enquanto curated = dados já limpos e prontos para uso.
  • Pensar que a raw layer é apenas um cache temporário: na verdade, ela é um repositório permanente que preserva histórico e garante rastreabilidade.
  • Acreditar que dados brutos significam dados ruins: dados brutos na raw layer são confiáveis e valiosos; 'bruto' apenas quer dizer não-transformado.

Entenda as alternativas

A

Armazenar dados brutos originais mantém a integridade e confiabilidade do seu Data Lake. É como guardar a matéria-prima: você pode transformá-la de diferentes formas depois sem nunca perder a versão original.

B

Dados já limpos e prontos para consumo pertencem à camada curated (ou refined), não à raw layer. A raw layer é propositalmente 'suja' e sem processamento, servindo como base confiável para toda transformação futura.

C

A raw layer é um armazenamento permanente de dados, não um espaço para análises rápidas sem persistência. Você armazena os dados em Parquet ou outro formato eficiente justamente para mantê-los acessíveis.

D

Transformações com SQL complexo fazem parte do processamento das camadas staging ou curated. A raw layer não transforma: apenas recebe e armazena os dados tal como são ingeridos da fonte.

Dica prática: Quando você ingerir dados em seu Data Lake com Python e DuckDB, salve sempre uma cópia em Parquet na raw layer antes de qualquer transformação. Use essa camada como fonte de verdade: se precisar revisar uma transformação antiga, você volta ali e reprocessa do zero com segurança.

Revise pensando: Se você recebeu um arquivo CSV de uma API e quer guardá-lo no Data Lake, em qual camada ele deve ir primeiro antes de ser limpo ou transformado?