FAQ: Aprendizado por Reforço e Redes Neurais

Conceitos Fundamentais

1. Quais informações de treinamento são usadas no aprendizado por reforço?

Utiliza-se a avaliação das ações do agente (através de recompensas ou punições) com o objetivo de maximizar o reforço (recompensa acumulada) ao longo do tempo.

2. Em quais situações pode/deve ser utilizado o aprendizado por reforço?

Quando um agente precisa aprender a tomar decisões ótimas interagindo diretamente com um ambiente, recebendo feedback na forma de recompensas ou punições, sem dados previamente rotulados.

Componentes do Aprendizado por Reforço

3. O que é a Função de Recompensa (ou feedback do ambiente)?

É um sinal de feedback que indica quão boa foi uma ação tomada por um agente em um determinado estado. Representada por R(S, A) → R, ela mapeia um par estado-ação (S, A) para um valor escalar (a recompensa R). Pode ser determinística ou estocástica.

4. Defina Estados, Ações e Recompensas em RL para:

Agente jogador de Xadrez

• Estados (E): Configuração atual do tabuleiro.
• Ações (A): Mover uma peça legalmente.
• Recompensas (R): +1 por capturar peça adversária, -1 por perder peça, +100 por xeque-mate, -100 por sofrer xeque-mate, 0 para outros movimentos. (Exemplo: + Captura ou - Perda).

Agente controlador de elevador

• Estados (E): Posição atual do elevador, estado das portas, botões pressionados (internos e externos), direção do movimento. (Exemplo: Elevador parado ou em movimento).
• Ações (A): Subir um andar, descer um andar, abrir porta, fechar porta, parar. (Exemplo: Subir ou descer).
• Recompensas (R): +10 por atender uma chamada, -1 por tempo de espera do usuário, -0.1 por movimento. (Exemplo: Atingir o andar desejado).

Agente controlador de aspirador de pó robô

• Estados (E): Posição do robô na sala, nível da bateria, localização da sujeira, status do depósito. (Exemplo: Posição do aspirador).
• Ações (A): Mover para frente, virar à esquerda, virar à direita, ligar/desligar aspiração. (Exemplo: Aspirar).
• Recompensas (R): +5 por aspirar sujeira, -1 por colisão, -0.1 por movimento, -10 por bateria acabar antes de retornar à base. (Exemplo: + Deixar o local limpo ou - Aspirador falhar).

Algoritmos e Conceitos de RL

5. Descreva o algoritmo Q-Learning

O Q-Learning é um algoritmo de aprendizado por reforço model-free que aprende uma política ótima encontrando os valores ótimos da função Ação-Valor Q(s, a).

• Para todo estado s e ação a, inicialize a tabela Q[s, a] arbitrariamente (ex: 0).
• Para cada episódio ou passo de tempo:
  • Observe o estado atual s.
  • Escolha uma ação a no estado s (usando uma política derivada de Q, ex: ε-greedy).
  • Execute a ação a, observe a recompensa r e o próximo estado s'.
  • Atualize a tabela Q para o par (s, a) usando a regra:
    Q[s, a] ← Q[s, a] + α * [r + γ * maxa' Q[s', a'] - Q[s, a]]
    (Onde α é a taxa de aprendizado e γ é o fator de desconto. A forma simplificada apresentada no original é: Q[s, a] = r + maxa'(Q[s', a']), que representa o valor alvo da atualização sem a taxa de aprendizado explícita.)
  • Atualize o estado: s ← s'.

6. Descreva o dilema Explorar vs. Usufruir

É um conflito fundamental no aprendizado por reforço entre usar o conhecimento atual para maximizar recompensas e adquirir novo conhecimento.

• Usufruir (Exploitation):
  • Escolher a ação que, com base na experiência atual, acredita-se ser a melhor (aquela com o maior valor Q(s, a) estimado).
• Explorar (Exploration):
  • Escolher uma ação diferente daquela considerada a melhor no momento (ex: uma ação aleatória ou menos explorada). O objetivo é coletar mais informações sobre o ambiente e potencialmente descobrir ações que são, na verdade, melhores a longo prazo.
• Dilema:
  • Como balancear as duas? Muita exploração pode levar a recompensas subótimas no curto prazo. Muita usufruição pode impedir a descoberta da verdadeira ação ótima.
  • Exemplo: Se Q(s, a) = 100 e Q(s, a') = 20, devo sempre escolher a (usufruir) ou arriscar escolher a' (explorar) na esperança de que seu valor real seja maior ou que leve a estados melhores?
  • A estratégia ótima geralmente envolve mais exploração no início do aprendizado e mais usufruição conforme o agente ganha confiança em suas estimativas de valor.

Redes Neurais Artificiais (RNAs)

7. Descreva RNAs e sua relação com as redes neurais biológicas

• Redes Neurais Artificiais (RNAs) são modelos computacionais inspirados na estrutura e funcionamento do cérebro humano (redes neurais biológicas).
• São caracterizadas por:
  • Elementos de processamento simples: Neurônios artificiais que recebem entradas, processam-nas e geram uma saída.
  • Alto grau de interconexões: Neurônios são conectados por sinapses artificiais, cada uma com um peso associado que modula a força do sinal.
  • Interação adaptativa: A rede "aprende" ajustando os pesos das conexões com base na experiência (dados de treinamento).
• A arquitetura paralela das RNAs permite processar informações de forma distribuída, similarmente ao cérebro.

8. O que é o Perceptron?

O Perceptron é um dos primeiros algoritmos de aprendizado de máquina supervisionado para classificação binária. Foi desenvolvido na década de 1950 e é a forma mais simples de rede neural, consistindo em um único neurônio com uma função de ativação degrau (threshold).

9. Treinamento do Perceptron

No treinamento, utiliza-se um conjunto de exemplos rotulados (entradas e saídas desejadas).

Qual é o objetivo do aprendizado?

O objetivo é aprender os pesos sinápticos (e opcionalmente um bias) de tal forma que o Perceptron produza a saída correta (+1 ou -1, ou 1 ou 0) para cada exemplo de treinamento.

Como o neurônio "aprende"?

O algoritmo de treinamento do Perceptron ajusta os pesos iterativamente. Para cada exemplo de treinamento, se a saída do Perceptron estiver incorreta, os pesos são atualizados na direção que reduz o erro. Este processo continua até que o Perceptron classifique corretamente todos os exemplos (se os dados forem linearmente separáveis).

10. Perceptron: Ponto Positivo e Negativo

• Positivo: É um modelo simples e computacionalmente eficiente. Garante a convergência para uma solução se os dados forem linearmente separáveis. Pode ser combinado em redes maiores (Multi-Layer Perceptrons - MLPs) para resolver problemas complexos.
• Negativo (Limitação): Um único Perceptron só consegue aprender funções (ou separar classes) que são linearmente separáveis. Ele falha em problemas como o XOR.

11. O que é uma função de ativação? Dê 2 exemplos.

A função de ativação define a saída de um neurônio com base em sua entrada total (soma ponderada das entradas mais o bias). Ela introduz não-linearidades na rede, permitindo que RNAs aprendam relações complexas.

No Perceptron original, era uma função degrau: o neurônio "dispara" (saída 1) se a entrada total excede um limiar, caso contrário, não dispara (saída 0 ou -1).

Exemplos comuns (além da degrau):

• Função Sigmoidal (Logística): Produz saídas entre 0 e 1, útil para probabilidades.
• Função Tangente Hiperbólica (tanh): Similar à sigmoidal, mas com saídas entre -1 e 1.
• ReLU (Rectified Linear Unit): Saída é a entrada se positiva, e 0 caso contrário. Muito popular em deep learning.
• Função de Base Radial (RBF): Usada em Redes RBF, a ativação depende da distância a um ponto central.

(Exemplos do documento original: Sigmoidal e Radial)

12. O que é o algoritmo Backpropagation?

O Backpropagation (retropropagação do erro) é o algoritmo padrão para treinar Redes Neurais Artificiais de Múltiplas Camadas (MLPs). Foi desenvolvido e popularizado nas décadas de 1970 e 1980.

• Ele aprende os pesos para uma rede com arquitetura fixa (número de neurônios, camadas e conexões).
• Utiliza a descida do gradiente (ou suas variantes) para minimizar uma função de erro (geralmente o erro quadrático médio entre a saída da rede e os valores alvo).
• Funciona em duas fases:
  1. Forward Pass: A entrada é propagada através da rede para gerar uma saída.
  2. Backward Pass: O erro entre a saída gerada e a saída desejada é calculado. Esse erro é então propagado para trás, camada por camada, e os gradientes da função de erro em relação a cada peso são calculados usando a regra da cadeia. Os pesos são ajustados na direção oposta ao gradiente para minimizar o erro.

13. Backpropagation: Ponto Positivo e Negativo

• Positivo: É um método eficaz e relativamente eficiente para treinar redes neurais profundas e complexas, permitindo-lhes aprender mapeamentos não-lineares difíceis. A possibilidade de variar a inicialização dos pesos e outros hiperparâmetros permite buscar melhores soluções.
• Negativo: Não garante a convergência para o mínimo global da função de erro (pode ficar preso em mínimos locais ou pontos de sela). É sensível à escolha de hiperparâmetros (taxa de aprendizado, inicialização de pesos, arquitetura da rede). O cálculo do gradiente pode ser computacionalmente intensivo para redes muito grandes (problema do gradiente evanescente/explosivo).