Conceitos Fundamentais de Machine Learning

Distância e Agrupamento

Distância de Manhattan

O cálculo da Distância de Manhattan entre dois pontos X e Y é dado por: d(x,y) = |X1 - Y1| + |X2 - Y2| + ... + |Xn - Yn|.

Cálculo de Centróides

Em algoritmos de agrupamento, o novo centróide de um grupo é calculado pela média aritmética das coordenadas das instâncias pertencentes a esse grupo.

Teoria da Informação e Árvores de Decisão

Entropia

A Entropia é uma medida da incerteza ou aleatoriedade em um conjunto de dados (S), utilizada na teoria da informação. Para um conjunto com c classes distintas, a entropia é calculada como:

Entropia(S) = Σ -pi * log2(pi)

Onde pi é a proporção de instâncias pertencentes à classe i. A entropia é máxima (ex: 1 para duas classes com proporção 0.5 cada, ou seja, meio a meio) quando há máxima incerteza e mínima (0) quando todas as instâncias pertencem a uma única classe (ex: proporções 1 e 0).

Ganho de Informação (ID3)

O Ganho de Informação é usado no algoritmo ID3 (e outros de árvores de decisão) para selecionar o atributo que melhor divide o conjunto de dados. Ele mede a redução na entropia após a divisão por um atributo.

Ganho(Atributo) = Entropia(Classe) - Entropia(Atributo)

O cálculo envolve a entropia do conjunto original e a média ponderada das entropias dos subconjuntos criados pela divisão do atributo.

Métricas de Avaliação

Métricas comuns para avaliar classificadores, frequentemente derivadas de uma matriz de confusão:

• Precisão: Mede a proporção de instâncias classificadas como pertencentes a uma classe que realmente pertencem a ela, dentre todas as que foram classificadas naquela classe. Precisão = VP / (VP + FP). (Na matriz de confusão, geralmente calculada sobre o total da coluna).
• Sensibilidade (Recall): Mede a taxa de instâncias corretamente classificadas como pertencentes a uma classe, dentre todas as que realmente são daquela classe. Sensibilidade = VP / (VP + FN). (Na matriz de confusão, geralmente calculada sobre o total da linha).
• Falso Positivo (FP): Instâncias negativas classificadas incorretamente como positivas.
• Falso Negativo (FN): Instâncias positivas classificadas incorretamente como negativas.

Redes Neurais e Perceptron

Vetor de Pesos

Corresponde às sinapses biológicas, servindo para ponderar a relevância das entradas para um neurônio. Os pesos são importantes e, no primeiro momento, são tipicamente inicializados com valores aleatórios.

Ajuste de Pesos

É o processo fundamental pelo qual a rede neural aprende. Ela só aprende ajustando os pesos, geralmente com base no erro calculado entre a saída prevista e a saída real.

Perceptron

Um modelo simples de neurônio artificial, capaz de resolver apenas problemas linearmente separáveis.

Taxa de Aprendizado

Define a magnitude do ajuste aplicado aos pesos durante o treinamento. Qual o impacto dela no aprendizado do classificador?

• Valores altos: Fazem com que as variações nos pesos sejam grandes, podendo levar a convergência rápida, mas com risco de instabilidade ou ultrapassar a solução ótima.
• Valores baixos: Implicam poucas variações nos pesos, resultando em convergência mais lenta, porém potencialmente mais estável e precisa.

Operações Lógicas Básicas

Resultados das operações lógicas fundamentais:

• AND (^): Verdadeiro (1) apenas se ambas as entradas forem 1.
  • 0 AND 0 = 0
  • 0 AND 1 = 0
  • 1 AND 0 = 0
  • 1 AND 1 = 1
• OR (v): Verdadeiro (1) se pelo menos uma entrada for 1.
  • 0 OR 0 = 0
  • 0 OR 1 = 1
  • 1 OR 0 = 1
  • 1 OR 1 = 1
• XOR: Verdadeiro (1) se as entradas forem diferentes.
  • 0 XOR 0 = 0
  • 0 XOR 1 = 1
  • 1 XOR 0 = 1
  • 1 XOR 1 = 0
• XNOR (Equivalência / Se e somente se): Verdadeiro (1) se as entradas forem iguais (oposto do XOR).
  • 0 XNOR 0 = 1
  • 0 XNOR 1 = 0
  • 1 XNOR 0 = 0
  • 1 XNOR 1 = 1
• Implicação (→): Falso (0) apenas se a primeira entrada (antecedente) for 1 e a segunda (consequente) for 0.
  • 0 → 0 = 1
  • 0 → 1 = 1
  • 1 → 0 = 0
  • 1 → 1 = 1