Guia Completo sobre Processos de ETL em Data Warehousing

1. O que é o processo de ETL?

É o processo que reúne um conjunto de atividades com o objetivo de consolidar dados de diversas fontes e estruturas em um Data Warehouse (DW). O processo envolve:

• Extração: Coleta de dados de diversas fontes e estruturas;
• Transformação: Limpeza, filtragem, agregação e padronização dos dados;
• Carga: Inserção dos dados no alvo final.

2. Qual a importância do ETL para o sucesso de um DW?

Frequentemente, existem inconsistências nos dados extraídos, com diferentes formas de representar a mesma informação (ex: 'M', 'Masculino', 'H'). O processo de ETL garante que esses dados sejam inseridos no DW de forma padronizada.

3. Por que o ETL é considerado crítico em projetos de DW?

Porque envolve a movimentação de dados espalhados por diversas fontes, obedecendo a regras de negócio complexas em um processo contínuo.

4. Quais são os passos para a construção de um processo de ETL?

1. Definir fontes e extrair: Coleta de dados de SGBDs, planilhas e arquivos de texto.
2. Transformar e limpar: Tratamento de dados antigos, desconhecidos ou inconsistentes, padronizando formatos.
3. Carregar: Inserção dos dados garantindo a integridade.

5. Fatores a observar antes de iniciar o ETL

• Mudança de tecnologia entre ambiente operacional e DW;
• Complexidade na seleção de campos de sistemas transacionais;
• Falta de documentação em sistemas legados;
• Reformatar dados e definir chaves antes da intercalação;
• Garantir ordem das colunas e valores default;
• Validação de chaves estrangeiras e integridade referencial;
• Definição de carga incremental ou carga total (full).

6. Ferramentas de ETL: Utilizar ou implementar?

O uso de ferramentas é recomendado, especialmente com muitos sistemas transacionais, pois auxiliam na geração de metadados e produtividade. Ao escolher, teste diversas opções, pois exigem alto investimento. Exemplos: DataStage, ETI, Sagent, Informatica PowerCenter, DTS, Pentaho, Talend, Sunopsis.

7. O que é a Data Staging Area (DSA)?

Segundo R. Kimball, é a parte do DW responsável por receber a extração, transformação e carga de sistemas legados para posterior geração de Data Marts. É uma área de trabalho, sem acesso direto dos usuários, composta por arquivos ou tabelas normalizadas.

8. Relação entre modelagem dimensional e ETL

A modelagem dimensional foca em fatos, dimensões e medidas. O ETL realiza a extração, limpeza e padronização dos dados para alimentar essas estruturas.

9. O papel dos Mapas de ETL

Documentar todo o processo, incluindo origem, tipo de dado, regras de transformação, valores default e destino final.

10. Cargas Full vs. Incrementais

A carga incremental é usada em tabelas de fatos (adiciona novos dados), enquanto a carga full é comum em tabelas de dimensão (substitui dados existentes), exceto quando há necessidade de manter histórico.

11. Compromissos em um processo de ETL

• Reunir Requisitos de Negócio: Definir entidades e fatos necessários com usuários e arquitetos.
• Otimizar Performance: Ajustar metadados e ferramentas para grandes volumes de dados.
• Documentação: Registrar modelos lógicos e físicos, criando áreas temporárias quando necessário.

12. Gestão de metadados

Essencial para documentar transformações complexas, permitindo que outros profissionais compreendam o fluxo de dados no futuro.

13. Sincronismo e janelas de carga

O ETL consome muitos recursos. Por isso, deve ser executado em horários de baixa demanda (noite ou fins de semana) para evitar a degradação da performance dos sistemas operacionais e prejuízos à empresa.