Redes Neurais Artificiais e Deep Learning · Insper

Arquiteturas Preditivas de Embedding Conjunto

Prever a representação, não os pixels

O que a rede deve prever?

Sem rótulos. Uma rede vê parte de uma imagem (ou de um vídeo) e tem de aprender com o resto.
O que a perda deve comparar?

  • O próprio dado — pixels, ruído, o próximo token: o VAE, a difusão, os modelos autorregressivos, o MAE.
  • Nada: só quem vai com quem — o CLIP aproxima os pares que combinam e afasta o resto.
  • Uma terceira resposta — prever a representação da parte escondida. Isso é uma JEPA.

Três famílias, três lugares para a perda

Três maneiras de aprender com pares (x, y). Generativa, como o MAE: um encoder e um decoder transformam x num palpite de y em pixels e a energia compara pixels. Embedding conjunto, como SimCLR, VICReg ou CLIP: dois encoders levam x e y a vetores e a energia compara os vetores, com negativos ou um regularizador contra o colapso. JEPA: o encoder de x alimenta um preditor que adivinha a representação de y, produzida por um encoder-alvo que não recebe gradiente; a energia compara representações. GENERATIVA · MAE D x y a energia compara pixels: cada detalhe de y tem de ser previsto encoder decoder ŷ pixels pixels EMBEDDING CONJUNTO · SimCLR, VICReg, CLIP D x y a energia compara dois embeddings: invariância entre duas vistas encoder encoder sx sy + negativos ou regularizador JEPA · I-JEPA, V-JEPA D x y a energia compara representações: só o que é previsível a partir de x encoder sx preditor z ŝy encoder-alvo EMA · sem gradiente sy

: a parte que se vê · : a parte a prever · : suas representações (vetores) · : uma distância · : um latente para o que não determina.

A energia da JEPA

  • Energia: um número, baixo quando combina com , alto caso contrário (os modelos baseados em energia de LeCun, 2006).
  • Os dois encoders não precisam compartilhar pesos nem arquitetura.
  • = L2 ao quadrado no I-JEPA, L1 no V-JEPA. = todos os pesos treináveis.
  • : o carro na bifurcação vira à esquerda ou à direita — só não decide.

A energia é o erro de predição no espaço de representação. Nenhum pixel aparece nela.

LeCun (2022), A Path Towards Autonomous Machine Intelligence, §4.4.

Por que não prever os pixels?

"é essencialmente impossível prever cada valor de pixel de cada quadro futuro" — LeCun (2022)

  • A textura de um tapete, as folhas ao vento, as ondulações de um lago: imprevisíveis e irrelevantes.
  • Um modelo generativo precisa gastar capacidade com elas ou escondê-las na variável latente.
  • Uma JEPA deixa descartá-las: guarda só o que consegue prever.

LeCun classifica até os autoencoders mascarados e de remoção de ruído como métodos contrastivos: a entrada corrompida faz o papel do par errado.

A energia plana

Os dois encoders devolvem o mesmo vetor constante para toda entrada. Quanto vale a perda? A rede aprendeu alguma coisa?

  • é o mesmo para todo → perfeitamente previsível → para todo par.
  • A superfície de energia fica plana: baixa nos dados, baixa em todo o resto. Isso é o colapso.
  • Os quatro critérios de LeCun: (1) informativo sobre ; (2) informativo sobre ; (3) previsível a partir de ; (4) carregando pouco.
  • O critério 3 sozinho é satisfeito pelo colapso. O 1, o 2 e o 4 é que o impedem.

Simulador · o colapso, ao vivo

Quatro saídas

família métodos o que impede o colapso
contrastiva SimCLR, MoCo, CLIP negativos: o resto do lote (4.096) ou uma fila (65.536)
destilação BYOL, SimSiam, DINO, I-JEPA, V-JEPA assimetria: preditor + stop-gradient + alvo EMA
maximização de informação Barlow Twins, VICReg um termo: variância para cima, dimensões descorrelacionadas
casamento de distribuição LeJEPA (SIGReg) embeddings empurrados para uma gaussiana isotrópica

Stop-gradient: o ramo-alvo é tratado como constante — nenhum gradiente entra nele. EMA: média móvel exponencial dos pesos.

A divisão de LeCun: contrastivos (empurrar pares errados para cima) × regularizados (limitar o volume de energia baixa). Ele aposta no segundo.

As ablações são diretas

o que foi tirado método sonda linear no ImageNet
nada SimSiam 67,7%
o stop-gradient SimSiam 0,1% (acaso)
o preditor SimSiam 0,1%
a média móvel (: alvo = online) BYOL 0,3%
o momento () MoCo o treino falha
  • Sem o stop-gradient, o SimSiam "encontra rapidamente uma solução degenerada e atinge a menor perda possível".
  • Nada nessas perdas proíbe o colapso: a dinâmica o evita.

O encoder-alvo EMA, com números

: pesos do encoder online (de contexto), treinados por gradiente · : pesos do encoder-alvo, nunca treinados por gradiente · : momento.

  • (BYOL, DINO, I-JEPA): cada passo move o alvo do caminho.
  • Um peso de 250 passos atrás ainda conta : o alvo é uma média de algumas centenas de versões.
  • Um objetivo que se move devagar demais para ser arrastado até a solução trivial.
  • O I-JEPA aumenta linearmente de 0,996 a 1: no fim o alvo está congelado.

Exercício · o VICReg à mão

embeddings (linhas), dimensões (colunas), , .

  1. a variância de cada coluna (divida por )
  2. a dobradiça de cada coluna e
  3. a covariância e
  4. qual dimensão está colapsando?

O VICReg à mão · resposta

grandeza coluna 1 coluna 2
variância
desvio
dobradiça
  • A coluna 2 está quase colapsada: a dobradiça empurra o desvio dela para cima, até .
  • Perda completa: invariância (nas duas vistas). "Contrastivo sobre componentes, não sobre vetores."

Como saber que colapsou

Desvio dos embeddings normalizados (SimSiam)

  • Normalize cada embedding em L2 e tome o desvio de cada dimensão ao longo do lote.
  • Espalhados como uma gaussiana isotrópica: . Colapso completo: 0.
  • Reportamos desvio : saudável .

Posto efetivo (RankMe)

  • → → entropia →
  • Detecta o colapso dimensional; não vê o colapso num ponto (não depende da escala).

: valores singulares do lote centrado de embeddings (n × d).

I-JEPA: quatro partes

  1. Máscaras na grade de patches: blocos-alvo (escala 0,15–0,2, proporção 0,75–1,5) e um bloco de contexto (0,85–1,0), menos todo patch-alvo → sobra cerca de 25% dos patches.
  2. Encoder de contexto : um ViT que vê só os patches do contexto.
  3. Encoder-alvo : a EMA de , vê a imagem inteira; os alvos saem da saída dele.
  4. Preditor : um ViT estreito (largura 384) — tokens do contexto + um token de máscara por posição-alvo.

: posições do bloco · : saída do preditor em · : saída do encoder-alvo em . O gradiente só chega a e .

Simulador · a máscara multi-bloco

As máscaras valem dezenas de pontos

1% dos rótulos do ImageNet, sonda linear, ViT-B/16 (Assran et al., 2023, Tabelas 6–11):

mudança em relação ao padrão top-1
padrão: 4 alvos de 0,15–0,2, contexto 0,85–1,0 54,2
1 alvo em vez de 4 9,0
alvos de 0,075–0,2 (alguns minúsculos) 19,2
contexto de 0,40–1,0 31,2
patches aleatórios em vez de blocos 17,6
ViT-H/16: alvos da entrada do encoder em vez da saída 56,1 (contra 67,3)

Alvos grandes o bastante para serem semânticos; contexto espalhado o bastante para ser informativo.

Simulador · um passo de treino, linha por linha

x · 6 patches (linhas)
W · encoder de contexto θ
W̄ · encoder-alvo θ̄
pos · preditor φ

O passo, com números

6 patches de 2 números, embeddings de 3, contexto , alvos .

linha resultado
encoder de contexto, patch 0
encoder-alvo, patch 4 → layer norm →
preditor, alvo 4 média do contexto + →
perda média de 6 erros ao quadrado = 0,6162
um passo, lr = 0,5 perda 0,2214; = None
caso colapsado (tudo zero) perda 0, todo gradiente 0 — um mínimo perfeito e estável

Layer norm: subtrai a média do vetor e divide pelo desvio dele. [0; 2,2; −2]: média 0,067, desvio 1,715.

O que o I-JEPA comprou

ImageNet-1K, sonda linear sobre features congeladas (artigo do I-JEPA, Tabela 1):

método modelo épocas top-1
MAE ViT-H/14 1.600 77,2
data2vec ViT-L/16 1.600 77,3
I-JEPA ViT-H/14 300 79,3
I-JEPA ViT-H/16, 448 px 300 81,1
iBOT (com aumentações de vistas) ViT-L/16 250 81,0
  • ViT-H/14 em < 72 h em 16 A100 — mais de 10× menos computação que o ViT-H/14 do MAE.
  • Mesmo ViT-L, 1% dos rótulos: alvos em pixels 40,7% (800 ép.) × alvos de representação 66,9% (500 ép.).

Não é vitória geral: iNat18 47,6 × iBOT 57,3; contagem no Clevr MAE 90,5 × 86,7; com fine-tuning 87,1 × MAE 87,8.

Por que representações — e quando não

  • Littwin et al. (2024), redes lineares profundas: uma JEPA aprende primeiro as features de alta influência (as que preveem bem o alvo); a ordem do MAE é ditada pela variância.
  • Em imagens naturais a maior parte da variância dos pixels é textura e iluminação; a semântica tem menos variância e é mais previsível.
  • O viés "só se instala quando o encoder é profundo".

Então em pequena escala — um ViT de 4 camadas, imagens 32 × 32, minutos de treino — qual você espera que se saia melhor na sonda, uma JEPA ou um MAE? O laboratório mede.

Vídeo: V-JEPA e V-JEPA 2

V-JEPA (2024)

  • 16 quadros, tubelets 2 × 16 × 16, ~90% mascarado, perda L1
  • ~2 M de vídeos; ViT-H/16 congelado: Kinetics-400 82,0, SSv2 71,4
  • modelos de imagem no SSv2 (movimento): DINOv2 50,6, I-JEPA 50,0
  • features × pixels, mesmo modelo: K400 73,7 × 68,6

V-JEPA 2 (2025)

  • 1 M de horas de vídeo + 1 M de imagens

  • ViT-g, 1 B de parâmetros, RoPE 3-D
  • SSv2 77,3; antecipação no Epic-Kitchens R@5 39,7 (melhor anterior 27,6)
  • com um LLM de 8 B: PerceptionTest 84,0

SSv2 = Something-Something v2: ações que só o movimento distingue ("empurrar algo para a esquerda" × "para a direita"). Congelado = encoder sem fine-tuning; uma sonda atentiva por cima.

V-JEPA 2-AC: a energia vira custo de planejamento

  • Congele o encoder. Treine um preditor condicionado a ações (~300 M) com < 62 h de vídeo de robô sem rótulo (Droid): (representação do quadro, estado do braço, ação) → representação do quadro seguinte.
  • Esse preditor é um modelo de mundo. Planeje:

Meta . Três ações preveem , , . Qual escolher?

  • L1: · · → a segunda.
  • Busca: método da entropia cruzada — 800 amostras, ficam as 10 melhores, reajusta, × 10; executa a primeira ação; replaneja.

Num braço real

Sem ajuste, braços Franka em dois laboratórios, 10 tentativas por tarefa por laboratório (sucesso %, média):

alcançar pegar copo pegar caixa pegar e colocar copo pegar e colocar caixa
Octo (política ajustada no Droid) 100 15 0 15 10
V-JEPA 2-AC 100 65 25 80 65
  • 16 s por ação, contra 4 min do Cosmos (um modelo de mundo que gera vídeo), na mesma GPU.
  • Sem recompensa, sem demonstração da tarefa: só uma imagem-meta.

Dez tentativas, horizontes curtos (um passo, com submetas), metas como imagens. Prova que planejar no espaço de representação funciona — não um robô de uso geral.

LeJEPA: um regularizador no lugar dos truques

  • Balestriero e LeCun (2025): a distribuição de embeddings que minimiza o risco depois é uma gaussiana isotrópica.
  • SIGReg: projete o lote em direções aleatórias ; teste cada projeção 1-D contra (Epps–Pulley):

: função característica empírica da projeção; : a de uma gaussiana padrão. 17 pontos em [−5, 5], 256 direções.

  • Perda , um hiperparâmetro, .
  • Sem stop-gradient, sem professor EMA, sem cronogramas; ~50 linhas; ViT-H/14 com 79% na sonda linear do ImageNet.

MAE, CLIP, JEPA

MAE CLIP I-JEPA
entrada 1 imagem, 75% escondido ao acaso imagem + legenda 1 imagem: contexto + 4 blocos-alvo
alvo pixels dos patches escondidos qual legenda é de quem representações dos patches escondidos
a perda mora no espaço da entrada espaço de embedding espaço de embedding
contra o colapso não precisa negativos stop-grad, preditor, EMA
precisa de um decoder de pixels 400 M de pares, lotes grandes só imagens
forte em fine-tuning, detalhe de baixo nível zero-shot, vocabulário aberto features congeladas por unidade de computação

Medido no laboratório

CIFAR-10, ViT de 4 blocos (0,8 M de parâmetros). Espalhamento: desvio dos embeddings normalizados × (saudável ≈ 1).

execução perda espalhamento posto ef. sonda linear
pixels crus · encoder sem treino — — · 0,386 — · 21,4 0,358 · 0,371
I-JEPA, 8 épocas 0,31 0,803 51,3 0,454
sem stop-gradient, 1 época 0,0009 0,009 39,6 0,403
sem EMA (), 1 época 0,0098 0,059 13,5 0,338
sem EMA, sem stop-grad, + termos VC, 4 épocas 1,87 0,832 106,7 0,406
MAE, 8 épocas 0,55 0,531 51,3 0,496
  • As menores perdas são das execuções colapsadas; o posto não vê a que só encolheu.
  • Sem colapso ≠ boas features (termos VC). Nesta escala o MAE ganha, como o slide 20 previu.

Perdas de objetivos diferentes não se comparam entre linhas de tipos diferentes.

Rumo aos modelos de mundo

  • O agente de LeCun (2022): percepção, modelo de mundo, custo, ator, memória, configurador — ele planeja rodando o modelo de mundo para a frente: controle preditivo com modelo aprendido e custo aprendido.
  • A JEPA foi proposta como o modelo de mundo; a H-JEPA empilha níveis: perto e detalhado embaixo, longe e abstrato em cima.
  • O V-JEPA 2-AC é um laço funcionando. Ponto fraco: o custo é uma distância L1 até uma imagem-meta — dois estados que parecem iguais podem estar a muitas ações de distância.

Próxima aula: modelos de mundo. Depois: o TDWM (2026), em que a similaridade entre dois quadros cai com o número de passos entre eles, então a distância no latente mede tempo e não aparência.

Laboratório · uma JEPA, construída e medida

Notebook no Colab, ~2 h, CIFAR-10, GPU T4 gratuita (~18 min de treino no M2 em que foi conferido). Cada seção termina num checkpoint.

  1. a máscara multi-bloco
  2. as três redes
  3. um passo à mão: nenhum gradiente no alvo
  4. medir uma representação
  5. o I-JEPA, treinado
  1. o colapso de propósito: sem stop-grad, sem EMA
  2. a rota regularizada (variância + covariância)
  3. pixels no lugar: um MAE pequeno, mesmo orçamento
  4. tarefa aberta

abrir no Colab →

Para levar

  1. Uma JEPA prevê a representação da parte escondida; a energia é o erro de predição no espaço de representação.
  2. Embeddings conjuntos podem colapsar; perda zero pode significar que nada foi aprendido. Meça desvio e posto efetivo.
  3. Quatro saídas: negativos, stop-grad + preditor + EMA, variância e covariância, SIGReg.
  4. I-JEPA: alvos recortados da saída de um encoder EMA; blocos-alvo grandes; as máscaras valem dezenas de pontos.
  5. O ganho dele são features congeladas por unidade de computação, não vitória geral — e em pequena escala os pixels podem ganhar.
  6. O V-JEPA 2-AC transforma a energia em custo de planejamento num robô real.
  7. A JEPA foi proposta como modelo de mundo: a próxima aula.

Roteiro: (1) o que o aprendizado autossupervisionado deve prever; (2) a visão de energia e o colapso; (3) quatro saídas do colapso; (4) o I-JEPA, linha por linha; (5) vídeo e planejamento com o V-JEPA 2; (6) LeJEPA; (7) a ponte para os modelos de mundo. Fecha com o laboratório no Colab.

Peça as duas primeiras respostas antes de revelar: o curso viu as duas. A terceira é a aula.

Aponte onde fica D em cada painel. Esquerda: pixels. Meio e direita: vetores. A única diferença entre o meio e a direita é o preditor e o que ele compra: uma tarefa, não só concordância.

Comece com "nada": a perda vai a 0 e os pontos para a origem. Depois "só stop-gradient": mais lento, mesmo fim. Depois EMA + preditor: sobrevive. Depois VICReg. Por fim aumente o ruído com a EMA e veja o posto efetivo cair para perto de 1 — colapso dimensional.

Primeiro o padrão: conte os patches do contexto. Depois encolha os alvos (escala em 0,075): a tarefa fica local. Depois 1 alvo. Depois a estratégia aleatória (MAE) para contraste.

Percorra as 10 linhas com o exemplo da página. Na linha 4 pergunte: por que o encoder-alvo vê a imagem inteira? Na linha 8 aponte o "None" de W-barra. Depois escolha o caso colapsado e volte à linha 7: perda 0, gradientes 0.