Machine Learning · Insper
A Fronteira
A última parada do arco que começou com os mínimos quadrados em 1805
Um mapa do campo, transfer learning e modelos de fundação, onde a caixa de ferramentas clássica ainda vence
O caminho desta aula
- Mapear o campocada técnica pelo trabalho que faz; quatro caminhos
- Reusar, não recomeçartransfer learning, fine-tuning, modelos de fundação, prompts
- Onde o clássico vencea caixa de ferramentas dentro da pilha nova, tabelas, roteamento
- O que vem depoisproblemas em aberto, para onde ir a partir daqui
Cada etapa responde a uma pergunta: onde fica cada técnica que você aprendeu? → por que começar do zero se um modelo já sabe tanto? → quando a caixa de ferramentas clássica ainda vence? → o que está em aberto e para onde você vai agora?
Esta aula não tem lab.
Etapa 1 · onde fica cada técnica que você aprendeu?
Um mapa do campo
As fichas cheias foram vistas na disciplina; as tracejadas ficam além. Clique em uma técnica: o que ela é, no que se apoia, o que se apoia nela, onde ler mais. O mapa rola.
Lendo o mapa: quatro caminhos
geração aumentada por recuperação (RAG)
apoia-se no k-NN (k vizinhos mais próximos) e nos embeddings densos: uma ideia de 1951 e uma de 2013 formam a metade de busca de um sistema de 2020
alinhamento (RLHF)
aprendizado por reforço com feedback humano. O modelo de recompensa: \(P(\text{A preferida a B}) = \sigma(r_A - r_B)\), uma regressão logística ajustada com entropia cruzada
avaliação de sistemas de LLM
LLM: grande modelo de linguagem (large language model). Métricas de classificação e vazamento: um benchmark cujas perguntas vazaram para o treino é um scaler ajustado antes da divisão, em escala de internet
modelos de fundação tabulares
o único ponto em que a fronteira ataca de frente o gradient boosting
Etapa 2 · por que começar do zero se um modelo já sabe tanto?
Transfer learning: pare de começar do zero
Pré-treine um modelo grande num corpus genérico enorme e depois o adapte à sua tarefa.
extração de atributos
congele o modelo e use suas representações como atributos para uma cabeça clássica. Você fez isso: sentence embeddings alimentando uma regressão logística ou um agrupamento.
fine-tuning
continue treinando alguns ou todos os pesos com seus dados rotulados: tipicamente 10²–10⁴ exemplos em vez de 10⁶.
ULMFiT (2018) e BERT (2019): pré-treinados em texto sem rótulo e depois ajustados com fine-tuning, superam modelos treinados do zero com uma fração dos rótulos.
LoRA: fine-tuning de uma fatia fina
A LoRA (low-rank adaptation) treina só uma correção de baixo posto de cada matriz de pesos: \(W + BA\), com \(B\) e \(A\) finas (Hu et al., 2022).
Preveja. Uma matriz de pesos \(4096 \times 4096\) e posto 8. Quantos números a LoRA treina?
LoRA, posto 8
65.536
\(2 \times 4096 \times 8\): 0,4% deles
Modelos de fundação
- Transformers, pré-treino autossupervisionado (prever tokens mascarados ou o próximo token: os rótulos são grátis), bilhões de parâmetros.
- Um único modelo muito grande, adaptado a muitas tarefas (Bommasani et al., 2021): GPT, Claude, Gemini, Llama para texto; CLIP para visão e linguagem; Whisper para fala.
- Por que escalar? A perda de teste cai como uma lei de potência suave em parâmetros, dados e computação (Kaplan et al., 2020).
A "Bitter Lesson" de Sutton (2019): em 70 anos, métodos gerais que aproveitam mais computação venceram o conhecimento construído à mão.
Com LLMs, a adaptação fica ainda mais leve
| adaptação | dados rotulados necessários | o que acontece |
|---|
| zero-shot | nenhum | descreva a tarefa no prompt |
| few-shot / em contexto | um punhado | exemplos no prompt; nenhum peso muda |
| fine-tuning (completo / LoRA) | centenas+ | atualiza os pesos ou uma fatia de baixo posto deles |
| RAG | nenhum (precisa de documentos) | recupera trechos por busca de vizinhos mais próximos sobre embeddings e os coloca no contexto |
"Classifique este tíquete como cobrança, técnico ou outro": em 2018, um projeto de rotulagem; hoje, muitas vezes um único prompt. O prompting virou o novo fit() e você continua precisando de um conjunto de teste rotulado para saber se ele funciona.
Etapa 3 · quando a caixa de ferramentas clássica ainda vence?
A caixa de ferramentas clássica, dentro da pilha de LLMs
- A camada de saída é uma regressão softmax sobre o vocabulário; o treino é gradiente descendente em mini-batch com weight decay (uma penalidade L2) sobre a entropia cruzada.
- Os sistemas RAG são k-NN sobre embeddings; um banco de dados vetorial é um motor de vizinhos mais próximos aproximados.
- O modelo de recompensa do RLHF é uma regressão logística sobre pares de respostas.
- Avaliar um sistema de LLM é pensar em precisão e revocação mais um desenho honesto com dados separados; perguntas de teste vazadas são o problema de vazamento atual do campo.
- O BERTopic já compunha embeddings de modelos de fundação com UMAP, HDBSCAN e TF-IDF.
Onde o ML clássico ainda vence
Preveja. Uma tabela de dados de churn, uma decisão de crédito em milissegundos, um auditor que precisa ver o porquê. Modelo de fundação ou pilha clássica?
| situação | por que o clássico vence |
|---|
| dados tabulares | o gradient boosting ainda lidera em tabelas de tamanho médio (Grinsztajn et al., 2022); LLMs são ruins com tabelas de números |
| latência, custo, escala | uma regressão logística pontua uma linha em microssegundos |
| decisões reguladas | razões de chances e valores SHAP podem ser mostrados a um auditor; um prompt não |
| problemas pequenos e estruturados | 2.000 linhas precisam de controle de viés–variância, não de um trilhão de parâmetros |
| determinismo | modelo fixo + entrada fixa = saída fixa; LLMs amostram |
O desafiante nas tabelas: TabPFN
- 45 conjuntos tabulares de cerca de 10.000 linhas: ensembles de árvores à frente das redes profundas. Tabelas têm funções-alvo irregulares e muitas colunas pouco informativas.
- TabPFN (Hollmann et al., 2023, 2025): um transformer pré-treinado em milhões de tabelas sintéticas, que prevê uma tabela nova em uma única passada, sem treino e sem ajuste.
até 10.000 linhas
a versão de 2025 superou, em 2,8 segundos, um ensemble dos modelos de referência mais fortes ajustado por 4 horas
acima disso ou quando a latência importa
as árvores com boosting continuam sendo o padrão
Teste o desafiante como você testou todo modelo: mesmos folds, mesma métrica, comparação pareada.
A habilidade do profissional de fronteira: o roteamento
percepção e linguagem
→ modelos de fundação
predição estruturada
→ a pilha clássica
sistemas reais
usam as duas
Um LLM lê a reclamação em texto livre, um modelo de gradient boosting calcula o risco de churn e o MLOps monitora os dois.
Etapa 4 · o que está em aberto e para onde você vai agora?
Problemas em aberto: para onde o campo vai
- Alucinação e confiabilidade: calibração em escala de fronteira; um modelo deveria saber quando não sabe.
- Avaliação: os benchmarks saturam e vazam para os dados de treino.
- Alinhamento e segurança: o RLHF e seus sucessores são respostas parciais.
- Eficiência: destilação, quantização, modelos pequenos especializados.
- Proveniência dos dados, viés e governança: as questões de ética, agora reguladas (AI Act europeu; no Brasil, a LGPD — Lei Geral de Proteção de Dados — e o projeto de lei PL 2338/2023).
- Causalidade: decisões precisam de "o que acontece se agirmos".
- Agentes: modelos que planejam, chamam ferramentas e agem; avaliá-los e mantê-los seguros está em grande parte sem solução.
Para onde ir a partir daqui
- Deep learning, em profundidade: a disciplina do Insper Artificial Neural Networks and Deep Learning; Prince, Understanding Deep Learning (2023, grátis on-line).
- A visão probabilística: Murphy, Probabilistic Machine Learning (2022, grátis on-line).
- LLMs, na prática: os cursos da Hugging Face; a série Neural Networks: Zero to Hero de Karpathy.
- Ler artigos: escolha uma ficha tracejada no mapa, leia o artigo clássico dela e depois um artigo recente que o cite.
A tese da disciplina, uma última vez
Toda ideia "nova" que você encontrar é uma composição de coisas que agora entende: perdas, gradientes, regularização, embeddings, vizinhos, ensembles, validação honesta.
A fronteira se move; os fundamentos se acumulam. Aprenda as partes e nenhum todo será uma caixa-preta.