Data Warehouse, Data Mining e o Processo de KDD
Data Warehouse (DW): tem como objetivo criar e manter uma base de dados analítica.
Data Mining: analisa dados com a utilização de métodos mais complexos, gerando resultados mais elaborados. A Mineração de Dados é um conjunto de poderosas técnicas para extração de conhecimentos a partir de séries de dados muito grandes.
Relação entre DW e Data Mining
- Do ponto de vista de um DW: a Data Mining pode ser vista como uma aplicação cliente do DW. Como uma ferramenta de consulta OLAP ou ferramenta de relatórios, pode estar em uma máquina à parte e requisitando dados do DW.
- Do ponto de vista de Data Mining: o DW é uma coleção de dados organizada e sem problemas de qualidade, servindo como fonte de dados.
São independentes e podem ser utilizados em separado. As análises são complementares e não sobrepostas; contudo, um ambiente de análise completo necessita de resultados de ambos, sendo o ideal utilizar os dois em conjunto.
Exemplos de Aplicação
- Marketing: mala direta de produtos para clientes que têm possibilidade de comprar aquele produto.
- Varejo: produtos organizados nas prateleiras; colocar no carrinho de compra os produtos que vendem em conjunto.
- Telecomunicações: identificação de ligações fraudulentas de celulares clonados.
- Bancário: liberação de empréstimos para clientes que têm característica de bom pagador.
- Científico: a NASA cataloga imagens de satélites e classifica eventos similares nas imagens.
- Acadêmico: disciplinas de graduação que têm maior probabilidade de serem cursadas em conjunto.
Processo de KDD
[Fayyad 96]: BD, seleção, pré-processamento, transformação, data mining, interpretação/avaliação = conhecimento.
Adriaans 97, Terra 2000
KDD & Data Mining
Descoberta de Conhecimento em Base de Dados (KDD): é o processo não trivial de identificação de padrões em dados que sejam válidos, novos, potencialmente úteis e compreensíveis.
Data Mining: etapa onde os recursos computacionais são mais exigidos, também chamada de Mineração de Dados e Prospecção de dados: sondagem, pesquisa, avaliar, investigar, explorar.
Critérios que justificam a adoção de KDD [Fayyad 96]
- Práticos: impacto potencial, falta de alternativa, suporte organizacional.
- Técnicos: quantidade de dados, atributos relevantes, qualidade dos dados, conhecimento acerca do domínio.
Adriaans 97: seleção, limpeza, enriquecimento, codificação, data mining, descrição de resultados = ações.
Terra 2000: necessidades, objetivos, preparação de dados, data mining, interpretação/avaliação = conhecimento.
Etapas do Processo
- Definição de Objetivos: o processo tem um objetivo inicial, que será comprovado ou rejeitado com a utilização de exemplos de dados extraídos. Nem sempre o processo é diretamente atribuído a um conjunto de dados; nestas situações, existe o problema chamado de "concept assignment problem". Exemplo: melhores(?) clientes.
- Preparação dos Dados:
- Seleção: focar em um subconjunto.
- Limpeza: eliminar ruído.
- Enriquecimento: acrescentar dados externos.
- Transformação/Codificação: normalizar dados.
- Data Mining: algoritmos específicos são utilizados para extrair conhecimento. Existem vários tipos de análises pelos algoritmos. Escolher uma análise nem sempre é uma tarefa fácil, onde ocorre o "concept assignment problem".
- Interpretação/Validação dos resultados: avalia a quantidade de resultados de difícil aplicação na etapa de Data Mining (muito grande ou muito pequena). A quantidade depende dos valores dos parâmetros escolhidos na análise.
Características desejáveis do Resultado (Conhecimento):
- Correto;
- Compreensível;
- Interessante / Útil / Novo.
Métodos [Fayyad 96]
É proposta uma divisão em mais alto nível dos métodos segundo a aplicação:
- Descritivos: gerar uma representação descritiva dos dados. A partir desta, podem ser tomadas as devidas ações.
- Preditivos: permitem prever a situação futura. Não focam necessariamente na compreensão humana do modelo extraído.
Algoritmos de Data Mining
Existem muitos algoritmos que podem ser utilizados; não são novos, mas sim originários de métodos estatísticos e de IA. Os algoritmos devem ser adaptados para que possam tratar grandes quantidades de dados.
- Associações/Link Analysis: as regras de associações representam padrões onde a ocorrência de eventos em conjunto é alta. Exemplo: produtos que frequentemente são vendidos em conjunto; associações usuais e não usuais.
- Sequência: são regras de associação que utilizam o fator tempo. Os dados de uma sequência podem ser transformados para que sejam aplicados algoritmos de associação. Ex: cartão, compra de celular, comprar um micro um tempo depois.
- Agrupamentos/Clustering: neste método, os pares atributo/valor são analisados com o objetivo de criar grupos onde os valores são semelhantes. Existem vários registros (exemplos) que representam um evento. Não são fornecidos rótulos para os exemplos. Ex: Quais são os grupos que se comportam da mesma maneira?
- Classificação: neste método, são procurados padrões que "classifiquem" elementos rotulados (exemplos). Os exemplos são fornecidos juntamente com um conjunto de registros. O objetivo é descobrir quais valores justificam o exemplo. Podem ser utilizados para "compreender" os agrupamentos. Ex: qual a característica do agrupamento?
- Sumarização: são, em geral, métodos estatísticos mais simples. Ex: Média, Desvio, Correlação. Muito parecidos com as possibilidades de análise fornecidas pelo OLAP. Ex: Existe relação entre ações de empresas diferentes ao longo do tempo?