Conceitos Fundamentais de Data Warehouse e BI

Modelagem de Dados

• Estrela: A tabela fato se encontra no centro e as tabelas dimensões ao redor. Deve possuir no mínimo 3 tabelas de dimensões que descrevem tais fatos (entre elas, uma é obrigatória: “TEMPO”).
• Floco de neve: Tabela fato no centro, dimensões em volta, sendo que as dimensões podem ter outras dimensões relacionadas.
• Constelação: Integra diversos assuntos dentro do mesmo conceito, com múltiplas estrelas ligadas entre si.

Processo de ETL

• ETL: Técnica para extrair, limpar, transformar, carregar e atualizar o banco de dados. Concentra informações de forma consistente em uma base única para análise.
• Extração: Seleção das fontes de onde os dados serão extraídos.
• Limpeza dos dados: Remove dados errados e inconsistentes (ao fazer a limpeza, pode-se encontrar dados escritos de formas diferentes com o mesmo significado).
• Transformação de dados: Padronização dos dados para que um registro não tenha duas representações.
• Cuidados para a carga de dados: A carga deve ser constante, prevendo possíveis alterações. É recomendada uma área intermediária entre Sistemas Transacionais e o DM/DW.

Governança e Estrutura

• Metadados: São informações adicionais para que os dados se tornem úteis.
• Matriz de Rastreabilidade: Planilha detalhada com vários indicadores de desempenho que a empresa deseja obter.

Sistemas de Dados (OLTP e OLAP)

• OLTP: Sistemas que registram transações em uma determinada operação (ex: sistemas de transações bancárias, sistemas ERP).
• OLAP: Método de acessar, visualizar e analisar dados corporativos com alta flexibilidade e performance. Capaz de manipular e analisar grandes volumes de dados sob múltiplas perspectivas.
• ROLAP: Derivação do OLAP que utiliza modelagem relacional para armazenar seus dados, sem utilizar modelagem dimensional.
• MOLAP: Dispara requisições diretamente a um servidor de banco de dados multidimensional. Após o retorno, a manipulação segue dentro do servidor, resultando em melhor desempenho.
• HOLAP: Utilização de ferramentas híbridas, combinando ROLAP com MOLAP. Usa a escalabilidade do ROLAP com o alto desempenho do MOLAP.
• DOLAP: Ferramenta desktop que dispara uma consulta de uma estação cliente a um servidor, que retorna um macro-cubo para ser analisado pelo usuário.
• WOLAP: Ferramenta web que dispara consultas através de um navegador para o servidor. O servidor retorna um cubo de dados que é armazenado em memória para análise do usuário.