O panorama de ML

Antes de mergulhar nos algoritmos, precisamos de um mapa: que tipos de aprendizado existem, como é um projeto de ML real de ponta a ponta e o que significa um modelo generalizar.

A aula percorre esse mapa em quatro etapas, desenhadas abaixo: 1. tipos de aprendizado, separados pelo feedback que o aprendiz recebe; 2. o ciclo do projeto, os passos de um projeto real da pergunta ao modelo em produção; 3. generalização, o que torna um modelo bom em dados que ele nunca viu; 4. responsabilidade, as perguntas a fazer antes que um modelo decida sobre pessoas. Cada etapa leva à sua seção e, nos slides, uma faixa embaixo mostra em que etapa você está.

Tipos de aprendizadosupervisionado, não supervisionado, por reforço: pelo feedback
O ciclo do projetoformular, obter dados, preparar, treinar, avaliar, implantar: um ciclo
Generalizaçãosubajuste, sobreajuste, sem almoço grátis
Responsabilidadejustiça, privacidade, transparência, ciclos de retroalimentação

Slides

Clique nos slides e use as setas ← → para navegar; F abre em tela cheia e Esc mostra todos os slides. Abrir os slides numa aba nova

Paradigmas de aprendizado

Etapa 1. Os problemas de machine learning são classificados pelo tipo de feedback disponível ao aprendiz.

Aprendizado supervisionado

O conjunto de dados contém entradas \(x\) e as saídas desejadas \(y\) (rótulos). O objetivo é aprender uma função \(f\) tal que \(f(x) \approx y\) em dados novos.

Regressão — \(y\) é contínuo: prever preços de imóveis, demanda de energia, o tempo de internação de um paciente (as aulas de regressão).
Classificação — \(y\) é categórico: spam/não spam, tumor benigno/maligno, qual dígito está na imagem (as aulas de classificação, árvores e ensembles).

Aprendizado não supervisionado

Apenas as entradas \(x\) — sem rótulos. O objetivo é descobrir estrutura:

Agrupamento — agrupar observações semelhantes, como segmentos de clientes (Agrupamento);
Redução de dimensionalidade — comprimir muitos atributos em poucos informativos (PCA, t-SNE, UMAP);
Modelagem de tópicos — descobrir temas em uma coleção de documentos (BERTopic).

Aprendizado por reforço

Um agente interage com um ambiente, recebe recompensas e aprende uma política que maximiza a recompensa de longo prazo — o paradigma por trás de sistemas que jogam (AlphaGo) e do controle robótico. Está fora do escopo deste curso, mas você deve reconhecê-lo no mapa.

No meio-termo

Projetos reais frequentemente misturam paradigmas: aprendizado semissupervisionado (poucos rótulos, muitos exemplos não rotulados), aprendizado autossupervisionado (rótulos fabricados a partir dos próprios dados — como os modelos de fundação são pré-treinados) e supervisão fraca (rótulos ruidosos e programáticos).

O fluxo de trabalho de ML

Etapa 2. Um modelo é uma pequena parte de um processo maior e iterativo. Este curso é organizado em torno deste ciclo:

Duas verdades práticas sobre este diagrama:

A maior parte do trabalho está nos passos 2–3. É comum profissionais relatarem que passam a maior parte do tempo entendendo e preparando dados, não ajustando modelos.
O ciclo nunca termina. Modelos implantados se degradam conforme o mundo muda (drift); monitorar e retreinar fazem parte do trabalho, não são um detalhe para depois.

Generalização: o problema central

Etapa 3. Um modelo que memoriza perfeitamente os dados de treino ainda pode ser inútil. O que importa é o desempenho em dados que ele nunca viu.

Subajuste (underfitting): o modelo é simples demais para capturar o padrão — desempenho ruim mesmo nos dados de treino.
Sobreajuste (overfitting): o modelo captura ruído como se fosse sinal — excelente nos dados de treino, ruim em dados novos.

No simulador abaixo, mova o grau do polinômio de 1 a 15 e observe os dois erros: onde o modelo está em subajuste e onde ele começa a sobreajustar? Depois aperte mais dados e suba o grau de novo.

O erro de treino só cai à medida que o modelo fica mais flexível; é o erro de teste que diz quando ele começou a decorar o ruído. Com mais dados o mesmo modelo flexível tem bem menos espaço para sobreajustar.

\[ \text{Objetivo: minimizar } \underbrace{\mathbb{E}_{(x,y)\sim \mathcal{D}}\big[L\big(f(x),\,y\big)\big]}_{\text{perda esperada em dados novos}} \quad \text{observando apenas uma amostra finita.} \]

Tudo nas aulas de regularização, validação cruzada e seleção de modelos — divisões treino/teste, validação cruzada, regularização, o trade-off viés–variância — existe para gerenciar essa tensão. Por ora, guarde uma regra:

A regra de ouro

Nunca avalie um modelo com dados em que ele foi treinado. Os dados de teste devem simular o futuro: nunca vistos, intocados, usados uma única vez.

Sem almoço grátis

O teorema No Free Lunch (Wolpert, 1996) diz que, na média sobre todos os problemas possíveis, nenhum algoritmo de aprendizado é melhor que qualquer outro. Na prática, isso significa: não existe modelo universalmente melhor — você precisa experimentar várias famílias e validar. É por isso que este curso ensina um portfólio (modelos lineares, vizinhos, kernels, árvores, ensembles, redes) em vez de uma única bala de prata.

Ética e responsabilidade

Etapa 4. Modelos treinados em dados históricos herdam vieses históricos. Antes de colocar um modelo em produção, pergunte:

Justiça — o modelo tem desempenho igual entre grupos demográficos? Um modelo de crédito treinado em decisões enviesadas as reproduz em escala.
Privacidade — os dados foram coletados com consentimento? As pessoas podem ser reidentificadas?
Transparência — as decisões podem ser explicadas aos afetados? (A aula de explicabilidade trata disso.)
Ciclos de retroalimentação — implantar o modelo altera os dados com que ele será retreinado? (O policiamento preditivo é o exemplo canônico de alerta.)

Aviso

"O modelo disse isso" nunca é uma justificativa aceitável para uma decisão que afeta pessoas. Você — o profissional — é responsável pelas consequências.

Referências

Wolpert, D. H. "The Lack of A Priori Distinctions Between Learning Algorithms." Neural Computation 8 (1996). DOI