Técnicas de Data Mining: Guia Completo

Técnicas para Data Mining

As principais técnicas incluem: Geração de regras de associação, Classificação e predição, e Agrupamento (clustering).

Regras de Associação

A mineração de regras de associação identifica padrões frequentes, correlações ou estruturas causais em bancos de dados de transações ou relacionais.

• Aplicações: Análise de cestas de compras (basket data), marketing cruzado, projeto de catálogos e agrupamento.
• Dados: Bancos de dados de transações onde cada uma consiste em uma lista de itens.
• Objetivo: Encontrar regras que correlacionam a presença de um conjunto de itens com outro.

Conceitos-chave:

• Suporte (s): Probabilidade de uma transação conter {X, Y, Z}.
• Confiança (c): Probabilidade condicional de uma transação que contém {X, Y} também conter Z.

Associações e Algoritmos

Existem associações booleanas, quantitativas, uni/multidimensionais e análises em múltiplos níveis. O algoritmo mais utilizado é o APRIORI, baseado no princípio de que todo subconjunto de um conjunto frequente de itens deve ser frequente.

Aprendizagem de Máquina

• Supervisionada: O conjunto de treinamento possui rótulos indicativos das classes.
• Não supervisionada (Clustering): Os rótulos das classes são desconhecidos; o objetivo é identificar grupos nos dados.

Classificação e Predição

• Classificação: Predição de nomes de classes com base em atributos.
• Predição: Modela funções sobre valores contínuos.

O processo de classificação ocorre em dois passos: Construção do modelo (usando conjunto de treinamento) e Uso do modelo (para classificação futura, evitando overfitting).

Técnicas de Classificação

• Árvores de Decisão: Estrutura de fluxograma onde nós internos testam atributos e folhas representam classes.
• Classificador Bayesiano: Baseado no Teorema de Bayes, utiliza aprendizagem probabilística e assume independência entre atributos.

Agrupamento (Clustering)

Um cluster é uma coleção de objetos similares entre si e distintos de objetos em outros grupos.

• Aplicações: Reconhecimento de padrões, análise espacial, processamento de imagens e segmentação de mercado.
• Qualidade: Avaliada pela alta similaridade intra-classe e baixa similaridade inter-classes.

Algoritmos de Clustering

• K-means (k-médias): Particiona objetos em k conjuntos baseados em centróides.
• Hierárquico: Pode ser bottom-up (AGNES) ou top-down (DIANA).

Detecção de Desvios (Outliers)

Identifica objetos muito diferentes do restante dos dados. É essencial para detecção de fraudes e análise médica. Pode ser realizada via métodos estatísticos (assumindo uma distribuição) ou baseada em distâncias (para análise multidimensional sem conhecimento prévio da distribuição)" ).