Machine Learning · Insper

O panorama de ML

Um mapa antes dos algoritmos

Os tipos de aprendizado, um projeto real de ponta a ponta e o que significa generalizar

O caminho desta aula

  1. Tipos de aprendizadosupervisionado, não supervisionado, por reforço: pelo feedback
  2. O ciclo do projetoformular, obter dados, preparar, treinar, avaliar, implantar: um ciclo
  3. Generalizaçãosubajuste, sobreajuste, sem almoço grátis
  4. Responsabilidadejustiça, privacidade, transparência, ciclos de retroalimentação
Cada etapa responde a uma pergunta: que tipo de aprendizado, pelo feedback? → que passos um projeto real percorre? → o que torna um modelo bom em dados novos? → quem responde pelo que o modelo decide?
Etapa 1 · que tipo de aprendizado, pelo feedback?

Paradigmas de aprendizado: pelo feedback

Os problemas de machine learning (ML) são classificados pelo tipo de feedback que o aprendiz recebe.

Preveja. Três situações: (a) e-mails antigos, cada um marcado como spam ou não; (b) uma pilha de cadastros de clientes, sem marca alguma; (c) um programa que joga um jogo e só descobre no fim se venceu. Que feedback cada uma tem?

Três paradigmas

Aprendizado supervisionado: as entradas e as respostas

Os dados contêm as entradas \(x\) e as saídas desejadas \(y\) (rótulos). Objetivo: aprender \(f\) com \(f(x) \approx y\) em dados novos.

regressão

\(y\) é contínuo: preços de imóveis, demanda de energia, o tempo de internação de um paciente

classificação

\(y\) é categórico: spam ou não, tumor benigno ou maligno, qual dígito está na imagem

Aprendizado não supervisionado: só as entradas

Sem rótulos. O objetivo é descobrir estrutura.

agrupamento

agrupar observações semelhantes, como segmentos de clientes

redução de dimensionalidade

comprimir muitos atributos em poucos informativos: PCA (análise de componentes principais), t-SNE, UMAP

modelagem de tópicos

descobrir temas numa coleção de documentos (BERTopic)

Aprendizado por reforço e as misturas

  • Um agente age num ambiente, recebe recompensas e aprende uma política que maximiza a recompensa de longo prazo: sistemas que jogam (AlphaGo), controle robótico.
  • Fora do escopo deste curso, mas você deve reconhecê-lo no mapa.

semissupervisionado

poucos rótulos, muitos exemplos não rotulados

autossupervisionado

rótulos fabricados a partir dos próprios dados: como os modelos de fundação são pré-treinados

supervisão fraca

rótulos ruidosos e programáticos

Etapa 2 · que passos um projeto real percorre?

O fluxo de trabalho de ML

Um modelo é uma pequena parte de um processo maior e iterativo. O curso é organizado em torno deste ciclo.

Duas verdades práticas sobre o ciclo

a maior parte do trabalho está nos passos 2–3

é comum profissionais relatarem que passam a maior parte do tempo entendendo e preparando dados, não ajustando modelos

o ciclo nunca termina

modelos implantados se degradam conforme o mundo muda (drift); monitorar e retreinar fazem parte do trabalho

Etapa 3 · o que torna um modelo bom em dados novos?

Generalização: o problema central

Preveja. Um modelo acerta todos os exemplos de treino: ele os memorizou. É um bom modelo?

Ele ainda pode ser inútil. O que importa é o desempenho em dados que ele nunca viu.

subajuste (underfitting)

simples demais para capturar o padrão: ruim até nos dados de treino

sobreajuste (overfitting)

captura ruído como se fosse sinal: excelente no treino, ruim em dados novos

Simulador: subajuste e sobreajuste

Preveja. Quando o grau vai de 1 a 15, o que acontece com o erro de treino? E com o erro de teste?

O objetivo, por escrito

\[ \text{minimizar } \underbrace{\mathbb{E}_{(x,y)\sim \mathcal{D}}\big[L\big(f(x),\,y\big)\big]}_{\text{perda esperada em dados novos}} \quad \text{observando apenas uma amostra finita} \]

Divisões treino/teste, validação cruzada, regularização, o trade-off viés–variância: tudo existe para gerenciar essa tensão.

A regra de ouro. Nunca avalie um modelo com dados em que ele foi treinado. Os dados de teste devem simular o futuro: nunca vistos, intocados, usados uma única vez.

Sem almoço grátis

  • Wolpert (1996): na média sobre todos os problemas possíveis, nenhum algoritmo de aprendizado é melhor que qualquer outro.
  • Na prática: não existe modelo universalmente melhor. Experimente várias famílias e valide.
Por isso o curso ensina um portfólio: modelos lineares, vizinhos, kernels, árvores, ensembles, redes.
Etapa 4 · quem responde pelo que o modelo decide?

Ética: quatro perguntas antes de colocar um modelo em produção

Modelos treinados em dados históricos herdam vieses históricos.

justiça

desempenho igual entre grupos? Um modelo de crédito treinado em decisões enviesadas as reproduz em escala

privacidade

os dados foram coletados com consentimento? as pessoas podem ser reidentificadas?

transparência

as decisões podem ser explicadas aos afetados?

ciclos de retroalimentação

implantar o modelo altera os dados com que ele será retreinado? (policiamento preditivo)

De quem é a decisão

"O modelo disse isso" nunca é uma justificativa aceitável para uma decisão que afeta pessoas. Você, o profissional, é responsável pelas consequências.

Resumo

  1. Paradigmas pelo feedback: supervisionado (rótulos), não supervisionado (estrutura), por reforço (recompensas).
  2. O fluxo de trabalho é um ciclo; a maior parte do trabalho está nos dados.
  3. O objetivo é o desempenho em dados novos: nunca avalie nos dados de treino.
  4. Sem almoço grátis: experimente várias famílias e valide.
  5. O profissional é responsável pelas consequências.
Próxima: Análise Exploratória de Dados, o primeiro contato com um conjunto de dados.