2. Perceptron

Atividade: Entendendo Perceptrons e Suas Limitações

Esta atividade é projetada para testar suas habilidades em Perceptrons e suas limitações.

O fio condutor da atividade é a separabilidade: você vai treinar o mesmo perceptron em dois conjuntos de dados — um que o algoritmo resolve, outro que não — e o que interessa não é que o segundo falhe, e sim como ele falha.

Exercício 1

Dados separáveis: o caso para o qual o perceptron foi projetado

A — Gere os dados

Gere duas classes de pontos 2D, 1000 amostras por classe, a partir de distribuições normais multivariadas:

• Classe 0: Média \(= [1.5, 1.5]\), Covariância \(= [[0.5, 0], [0, 0.5]]\)
• Classe 1: Média \(= [5, 5]\), Covariância \(= [[0.5, 0], [0, 0.5]]\)

As médias estão distantes em relação ao espalhamento, então as duas nuvens são linearmente separáveis a menos de um punhado de exceções.

Produza a Figura 1: um gráfico de dispersão dos 2000 pontos, uma cor por classe.

B — Implemente o perceptron

Escreva um perceptron de camada única do zero. Esta mesma implementação é reutilizada no Exercício 2 — escreva uma vez, como função ou classe.

• Predição. \(\hat{y} = \text{degrau}(\mathbf{w} \cdot \mathbf{x} + b)\), onde \(\text{degrau}(z) = 1\) se \(z \geq 0\) e \(0\) caso contrário.

• Regra de atualização. Para cada amostra \((\mathbf{x}, y)\), calcule \(\hat{y}\) e aplique

  \[ \mathbf{w} \leftarrow \mathbf{w} + \eta \, (y - \hat{y}) \, \mathbf{x}, \qquad b \leftarrow b + \eta \, (y - \hat{y}) \]

  com \(y, \hat{y} \in \{0, 1\}\). O erro \((y - \hat{y})\) é \(0\) quando a predição está correta — logo amostras bem classificadas não produzem atualização — e \(+1\) ou \(-1\) nos dois tipos de engano.

  Por que não \(\mathbf{w} \leftarrow \mathbf{w} + \eta \, y \, \mathbf{x}\)?

  Você vai encontrar essa forma em muitos livros. Ela pertence à convenção em que os rótulos são \(-1\) e \(+1\). Com os rótulos \(0/1\) usados aqui, ela nunca atualizaria na Classe 0, e o perceptron jamais conseguiria corrigir um falso positivo. Case a regra com os seus rótulos.

• Inicialização. Sorteie \(\mathbf{w}\) com rng.normal(0, 0.01, size=2) e use \(b = 0\). Não comece de \(\mathbf{w} = \mathbf{0}\) — o item D pede que você raciocine sobre a taxa de aprendizado, e a partir de um início todo zero a taxa comprovadamente não muda nada (ela apenas reescala \(\mathbf{w}\), deixando a fronteira de decisão e a contagem de épocas idênticas).

• Taxa de aprendizado. \(\eta = 0.01\).

• Parada. Treine até que uma passagem completa pelo dataset não produza nenhuma atualização, ou por no máximo 100 épocas, o que vier primeiro. Registre a acurácia no dataset completo após cada época.

C — Treine e meça

1. Treine o modelo e reporte o \(\mathbf{w}\) final, o \(b\) final, o número de épocas e a acurácia final.
2. Produza a Figura 2: a fronteira de decisão \(\mathbf{w} \cdot \mathbf{x} + b = 0\) desenhada sobre os pontos, com os pontos mal classificados marcados de forma distinta.
3. Produza a Figura 3: acurácia \(\times\) época.

D — Análise

1. Por que dados separáveis convergem rápido? Ligue sua resposta à regra de atualização: o que acontece com o número de atualizações por época ao longo do treino?
2. Re-execute o treino com \(\eta = 1.0\), sem mudar mais nada. Reporte a contagem de épocas e a acurácia final, e compare a direção de \(\mathbf{w}\) (ou seja, \(\mathbf{w} / \lVert \mathbf{w} \rVert\)) com a da execução com \(\eta = 0.01\). As duas devem chegar a 100%, mas por fronteiras diferentes — explique o que \(\eta\) controla, sabendo que cada atualização soma \(\eta \, \mathbf{x}\) a pesos que começaram com magnitude em torno de \(0{,}01\).
3. Agora argumente o que teria acontecido partindo de \(\mathbf{w} = \mathbf{0}\), \(b = 0\). Mostre algebricamente que rodar todo o treino duas vezes, com \(\eta_1\) e \(\eta_2\), produz pesos que diferem apenas pelo fator constante \(\eta_2 / \eta_1\) — de modo que a fronteira de decisão e a contagem de épocas são idênticas e \(\eta\) não tem efeito algum. É por isso que o item B proíbe a partida do zero.

Exercício 2

Dados sobrepostos: o caso que o perceptron não resolve

A — Gere os dados

Gere duas classes de pontos 2D, 1000 amostras por classe:

• Classe 0: Média \(= [3, 3]\), Covariância \(= [[1.5, 0], [0, 1.5]]\)
• Classe 1: Média \(= [4, 4]\), Covariância \(= [[1.5, 0], [0, 1.5]]\)

Agora as médias estão próximas e o espalhamento é três vezes maior, então as nuvens se sobrepõem bastante e nenhuma reta as separa.

Produza a Figura 4: um gráfico de dispersão dos 2000 pontos, uma cor por classe.

B — Treine guardando os melhores pesos

Reutilize a implementação do Exercício 1, sem alterações, com o mesmo \(\eta = 0.01\) e o mesmo limite de 100 épocas. Como os dados não são separáveis, o laço de treino nunca vai parar de atualizar — então você vai acompanhar dois conjuntos de pesos:

• os pesos finais — os que o laço tiver na mão depois da última época;
• os pesos do pocket — o melhor até agora: toda vez que uma atualização produzir uma acurácia no dataset completo maior que qualquer uma já vista, copie \((\mathbf{w}, b)\) para o seu "bolso" e guarde. Este é o algoritmo pocket, e essa cópia é a única coisa que você acrescenta ao laço.

Reporte, para os dois conjuntos: \(\mathbf{w}\), \(b\) e a acurácia.

C — Figuras

1. Produza a Figura 5: as duas fronteiras de decisão — final e pocket — desenhadas sobre os pontos, com os mal classificados marcados.
2. Produza a Figura 6: duas curvas contra a época — a acurácia dos pesos atuais e a melhor até agora (pocket).

D — Análise

1. A melhor reta para estes dados acerta cerca de 73%. Seus pesos do pocket devem chegar perto disso; os finais, não. Explique a diferença. Onde a fronteira final fica em relação à nuvem de pontos, e por que o laço de treino a deixa ali? Dica: compare o quanto \(b\) anda por engano com o quanto \(\mathbf{w}\) anda, sabendo que \(\lVert \mathbf{x} \rVert \approx 5\) nestes dados.
2. Compare a Figura 3 com a Figura 6. No Exercício 1 a curva de acurácia estabiliza; aqui, não. O que o teorema da convergência do perceptron garante, e qual das suas hipóteses este dataset viola?
3. Mais épocas resolvem? Um \(\eta\) menor resolve? Justifique pela regra de atualização, e não por tentativa e erro.

Resumo dos resultados

Encerre o relatório com esta tabela, preenchida:

Critérios de Avaliação

O entregável desta atividade é um relatório que inclui:

1. Uma breve descrição da sua abordagem de implementação e dos desafios enfrentados.
2. O código do perceptron e da geração dos dados, comentado.
3. As Figuras 1 a 6, numeradas conforme pedido.
4. Suas respostas às perguntas de análise dos itens D.
5. A tabela de Resumo dos resultados.

Notas Importantes:

• A entrega é um site no GitHub Pages apoiado em um repositório público — veja Formato de Entrega para a estrutura obrigatória, o front matter e o checklist;

• Há uma política estrita contra plágio. Qualquer forma de plágio resultará em nota zero na atividade e pode levar a outras medidas disciplinares conforme as políticas de integridade acadêmica da universidade;

• O prazo de cada atividade não é estendido — NENHUMA EXCEÇÃO será feita para entregas atrasadas.

• Colaboração com IA é permitida, mas cada aluno DEVE ENTENDER e ser capaz de explicar todas as partes do código e da análise entregues. Qualquer uso de ferramentas de IA deve ser devidamente citado. PROVAS ORAIS podem ser realizadas.

• Todos os entregáveis das atividades individuais devem ser enviados pela plataforma insper.blackboard.com.

Critérios de Nota:

Cada linha vale os pontos indicados, atribuídos integralmente, parcialmente (metade) ou não atribuídos: integralmente quando o item está completo e correto; parcialmente quando está implementado mas falta a análise pedida, ou quando a análise não traz o resultado numérico que a sustenta; zero quando ausente ou incorreto.

O valor da acurácia em si não é avaliado — o Exercício 2 deve ir mal. O que é avaliado é o método, as figuras e o relato honesto do que você obteve.

Exercício 1 — Dados separáveis (4 pontos):

Exercício 2 — Dados sobrepostos (4 pontos):

Relatório (2 pontos):