~/questoes/dados
O pipeline ETL é composto por três etapas principais: Extração (E), Transformação (T) e Carga (L). A transformação é a etapa mais crítica, onde a lógica de negócio é aplicada e os dados são preparados para análise. Em um pipeline processando 1 bilhão de linhas diárias, essa etapa garante que apenas dados válidos, enriquecidos e sem duplicatas cheguem ao destino final.
A transformação é onde toda a inteligência do pipeline ocorre. Nessa etapa, regras de negócio são aplicadas (cálculos, conversões), dados de diferentes fontes são enriquecidos (adicionando informações contextuais), duplicatas são removidas e validações garantem qualidade. Sem essa etapa bem executada, dados inadequados comprometem toda análise posterior.
A transformação é exatamente isso: aplicar regras de negócio, enriquecer dados com informações adicionais, desduplicar registros duplicados e validar conforme regras de qualidade. É o núcleo que torna dados brutos em informações confiáveis para análise.
Armazenar dados finais é a função da etapa de Carga (L), não da Transformação (T). O data lake ou warehouse recebe os dados já processados. A transformação ocorre antes dessa etapa.
Monitorar tempo de execução e alertar sobre falhas é responsabilidade da orquestração e observabilidade do pipeline, não da transformação em si. Essas são camadas de infraestrutura e operação, não a lógica de processamento de dados.
Ingerir dados de múltiplas fontes é a função da etapa de Extração (E), não da Transformação. APIs, arquivos Parquet e outras fontes são lidas na primeira etapa, e os dados brutos seguem para transformação.