Machine Learning · Insper

A Fronteira

Abordagem fundamental

Onde fica tudo o que você aprendeu e quando um modelo de fundação é a ferramenta certa

O caminho desta parte

Mapear o campocada técnica pelo trabalho que faz; quatro caminhos
Reusar, não recomeçartransfer learning, modelos de fundação, prompts
Achar o clássico por dentrosoftmax, k-NN, regressão logística, vazamento
Rotear o problemaonde o clássico vence; o que usar quando

Cada etapa responde a uma pergunta: onde fica cada técnica que você aprendeu? → por que começar do zero se um modelo já sabe tanto? → que peças desta disciplina estão dentro de um LLM? → que ferramenta para que problema?

Etapa 1 · onde fica cada técnica que você aprendeu?

Um mapa do campo

As fichas cheias foram vistas na disciplina (o selo é o código da aula); as tracejadas ficam além. Clique em uma técnica: o que ela é, no que se apoia, o que se apoia nela, onde ler mais. O mapa rola.

Lendo o mapa: quatro caminhos

geração aumentada por recuperação (RAG)

apoia-se no k-NN e nos embeddings densos: uma ideia de 1951 e uma de 2013 formam a metade de busca de um sistema de 2020

alinhamento (RLHF)

aprendizado por reforço com feedback humano. O modelo de recompensa: \(P(\text{A preferida a B}) = \sigma(r_A - r_B)\), com \(r\) o escore de uma resposta e \(\sigma\) a sigmoide: uma regressão logística

avaliação de sistemas de LLM

LLMs (grandes modelos de linguagem) são avaliados com métricas de classificação; um benchmark cujas perguntas vazaram para o treino é um scaler ajustado antes da divisão, em escala de internet

modelos de fundação tabulares

o único ponto em que a fronteira ataca de frente o gradient boosting (abordagem avançada)

Etapa 2 · por que começar do zero se um modelo já sabe tanto?

Transfer learning: pare de começar do zero

Pré-treine um modelo grande num corpus genérico enorme e depois adapte-o à sua tarefa.

extração de atributos

congele o modelo e use suas representações como atributos para uma cabeça clássica. Você fez isso: sentence embeddings alimentando uma regressão logística ou um agrupamento.

fine-tuning

continue treinando alguns ou todos os pesos com seus dados rotulados: tipicamente 10²–10⁴ exemplos em vez de 10⁶.

ULMFiT (2018) e BERT (2019): pré-treinados em texto sem rótulo e depois ajustados com fine-tuning, superam modelos treinados do zero com uma fração dos rótulos.

LoRA: fine-tuning de uma fatia fina

Adaptação de baixo posto (low-rank adaptation; Hu et al., 2022): mantenha a matriz de pesos \(W\) congelada e treine só uma correção \(BA\), com \(B\) e \(A\) finas.

Preveja. \(W\) é \(4096 \times 4096\) e o posto é \(r = 8\). Quantos números a LoRA treina?

A matriz congelada W de 4.096 × 4.096, 16.777.216 números, mais B de 4.096 × 8 vezes A de 8 × 4.096: 65.536 números treinados, 0,39% de W

\(B\): \(4096 \times 8\); \(A\): \(8 \times 4096\). Juntas, \(2 \times 4096 \times 8 = 65.536\) números, contra 16.777.216 em \(W\): 0,39%.

Modelos de fundação

Transformers, pré-treino autossupervisionado (prever tokens mascarados ou o próximo token: os rótulos são grátis), bilhões de parâmetros.
Um único modelo muito grande adaptado a muitas tarefas (Bommasani et al., 2021): GPT, Claude, Gemini, Llama para texto; CLIP para visão e linguagem; Whisper para fala.
Por que escalar? A perda de teste cai como uma lei de potência suave em parâmetros, dados e computação (Kaplan et al., 2020).

A "Bitter Lesson" de Sutton (2019): em 70 anos, métodos gerais que aproveitam mais computação venceram o conhecimento construído à mão.

Com LLMs, a adaptação fica ainda mais leve

adaptação	dados rotulados necessários	o que acontece
zero-shot	nenhum	descreva a tarefa no prompt
few-shot / em contexto	um punhado	exemplos no prompt; nenhum peso muda
fine-tuning (completo / LoRA)	centenas+	atualiza os pesos ou uma fatia de baixo posto
RAG	nenhum (precisa de documentos)	recupera trechos por busca de vizinhos mais próximos sobre embeddings e os põe no contexto

"Classifique este tíquete como cobrança, técnico ou outro": em 2018, um projeto de rotulagem; hoje, muitas vezes um único prompt. O prompting virou o novo fit() e continua sendo preciso um conjunto de teste rotulado para saber se ele funciona.

Etapa 3 · que peças desta disciplina estão dentro de um LLM?

A caixa de ferramentas clássica, dentro da pilha de LLMs

A camada de saída é uma regressão softmax sobre o vocabulário; o treino é gradiente descendente em mini-batch com weight decay (uma penalidade L2) sobre a entropia cruzada.
Os sistemas RAG são k-NN sobre embeddings; um banco de dados vetorial é um motor de vizinhos mais próximos aproximados.
O modelo de recompensa do RLHF é uma regressão logística sobre pares de respostas.
Avaliar um sistema de LLM é pensar em precisão e revocação mais um desenho honesto com dados separados; perguntas de teste vazadas são o problema de vazamento atual do campo.
O BERTopic já compunha embeddings de modelos de fundação com UMAP, HDBSCAN e TF-IDF.

Etapa 4 · que ferramenta para que problema?

Onde o ML clássico ainda vence

Preveja. Uma tabela de churn, uma decisão de crédito em milissegundos, um auditor que precisa ver o porquê. Modelo de fundação ou pilha clássica?

situação	por que o clássico vence
dados tabulares	o gradient boosting ainda lidera em tabelas de tamanho médio (Grinsztajn et al., 2022); LLMs são ruins com tabelas de números
latência, custo, escala	uma regressão logística pontua uma linha em microssegundos
decisões reguladas	razões de chances e valores SHAP (SHapley Additive exPlanations) podem ser mostrados a um auditor; um prompt não
problemas pequenos e estruturados	2.000 linhas precisam de controle de viés–variância, não de um trilhão de parâmetros
determinismo	modelo fixo + entrada fixa = saída fixa; LLMs amostram

Um desafiante nas tabelas pequenas: o TabPFN, um transformer pré-treinado em tabelas sintéticas que prevê em uma única passada (abordagem avançada).

Roteamento: o que usar quando

o pedido	rota
texto livre, imagens ou som, poucos rótulos	modelo de fundação: primeiro um prompt; com algumas centenas de rótulos, embeddings + uma cabeça clássica; fine-tuning (LoRA) se nenhum dos dois bastar
a resposta tem de sair dos seus documentos	RAG: um k-NN sobre os embeddings deles alimenta o prompt
uma tabela de números e categorias	pilha clássica: gradient boosting como padrão; regressão logística para auditar ou pontuar em microssegundos
os dois tipos de entrada	os dois: o modelo de fundação transforma o texto em colunas, o modelo clássico decide

Um LLM lê a reclamação em texto livre, um modelo de gradient boosting calcula o risco de churn e o MLOps (operações de machine learning) monitora os dois. Qualquer que seja a rota: um conjunto de teste rotulado.

Resumo

Toda técnica tem um lugar no mapa; a maior parte da fronteira se apoia em fichas que esta disciplina ensinou.
Transfer learning: um modelo congelado como extrator de atributos ou ajustado com fine-tuning (a LoRA treina uma fatia fina).
Modelos de fundação: pré-treino autossupervisionado em escala; adaptados por um prompt, alguns exemplos, trechos recuperados ou fine-tuning.
Dentro da pilha de LLMs: regressão softmax, gradiente descendente, busca por k-NN, um modelo de recompensa logístico, vazamento.
Roteie: linguagem para modelos de fundação, tabelas para a pilha clássica, sistemas reais para os dois.

Toda ideia "nova" é uma composição de coisas que você agora entende: perdas, gradientes, regularização, embeddings, vizinhos, ensembles, validação honesta.

Lab fundamental · cerca de 30 min, em duplas

Rotear o problema, passos 1 a 4

Sem notebook: copie o código de cada passo da página da aula para um notebook novo no Colab, em ordem. Os passos 1 e 4 não têm código.
Passo 1: ache a sua disciplina no mapa · passo 2: a metade de busca do RAG é um k-NN · passo 3: o modelo de recompensa é uma regressão logística · passo 4: rotear seis pedidos.
Em todo passo, responda ao Preveja antes de rodar ou de abrir a solução.
Simulações: a mesma pergunta, com outras palavras (passo 2) e eleitores que gostam de respostas longas (passo 3).

Ritmo: passo 1 em 5 min; passo 2 e sua simulação em 10 min; passo 3 e sua simulação em 10 min; passo 4 em 5 min.