Arquiteturas Preditivas de Embedding Conjunto (JEPA)

Todo método autossupervisionado tem de responder a uma pergunta: quando uma rede aprende com dados sem rótulo, o que ela deve prever? O curso já viu duas respostas. Os modelos generativos preveem o próprio dado — os pixels da reconstrução de um VAE, o ruído de um modelo de difusão, o próximo token de um modelo autorregressivo. O CLIP não prevê nada: aproxima os embeddings dos pares que combinam e afasta os outros.

Uma Joint Embedding Predictive Architecture (arquitetura preditiva de embedding conjunto) dá uma terceira resposta: prever a representação da parte que falta, não a parte em si. Codifique o que dá para ver, codifique o que está escondido com um segundo encoder e treine um preditor que leve o primeiro ao segundo. A perda nunca toca num pixel.

Yann LeCun propôs a ideia em 2022 como o núcleo de uma arquitetura para máquinas que aprendem modelos do mundo¹. Desde então ela virou uma linha de trabalho com resultados medidos: o I-JEPA em imagens (2023)², o V-JEPA em vídeo (2024)⁵ e o V-JEPA 2 (2025), cuja versão condicionada a ações planeja movimentos de pegar e colocar num braço robótico real a partir de 62 horas de vídeo de robô sem rótulo⁶. Veio ainda o LeJEPA (2025), que troca o saco de truques que impede esses modelos de colapsar por um regularizador com prova¹³. Este capítulo constrói a ideia a partir da visão de energia, desmonta o problema do colapso, segue a receita de imagens para vídeo e daí para planejamento e termina onde a próxima aula começa: modelos de mundo.

Slides

Clique nos slides e use as setas ← → para navegar; F abre em tela cheia e P abre a visão do apresentador, com as notas. Os simuladores desta página rodam dentro dos slides. Abrir os slides numa aba nova

Três respostas para "o que prever?"

Pegue um par \((x, y)\) de coisas que andam juntas: dois recortes da mesma foto, os patches visíveis e os escondidos de uma imagem, o presente e o segundo seguinte de um vídeo. Há três maneiras de montar um sinal de treino com ele, que diferem em onde acontece a comparação:

• Generativa (MAE³, o VAE, a difusão). Um encoder lê \(x\), um decoder produz um palpite \(\hat y\) no espaço da entrada e a perda compara pixels. Tudo em \(y\) tem de ser previsto, inclusive o que não dá para prever a partir de \(x\).
• Embedding conjunto (SimCLR⁷, VICReg¹⁰, CLIP). Dois encoders levam \(x\) e \(y\) a vetores \(s_x\) e \(s_y\) e a perda os faz concordar. Os encoders podem descartar detalhes, mas nada os impede de mapear toda entrada para o mesmo vetor — por isso esses métodos precisam de negativos ou de um regularizador.
• JEPA. O encoder de \(x\) alimenta um preditor que adivinha \(s_y\), a saída de um segundo encoder sobre \(y\). A comparação acontece no espaço de representação, como num embedding conjunto, mas a tarefa é uma predição, como num modelo generativo: o preditor precisa saber onde está a parte escondida e o que ela deveria conter.

A visão de energia

O enquadramento de LeCun é um modelo baseado em energia⁴: uma função escalar \(E(x, y)\) que é baixa quando \(y\) é compatível com \(x\) e alta caso contrário. O treino dá forma à função; a inferência procura o \(y\) (ou, mais adiante, a ação) de menor energia. A energia de uma JEPA é o erro de predição no espaço de representação¹:

Duas características dessa fórmula carregam o argumento inteiro.

Ela não precisa prever cada detalhe. Nas palavras do artigo, "é essencialmente impossível prever cada valor de pixel de cada quadro futuro"¹ — a textura de um tapete, as folhas de uma árvore ao vento, as ondulações de um lago. Um modelo generativo precisa gastar capacidade com esses detalhes ou empurrá-los para a variável latente. Uma JEPA pode deixar \(\text{Enc}_y\) jogá-los fora, de modo que \(s_y\) guarde só o que \(x\) consegue prever.

Ela pode colapsar. Se os dois encoders devolvem o mesmo vetor constante para toda entrada, \(s_y\) é perfeitamente previsível e \(E = 0\) para todo par: a superfície de energia fica plana e o modelo não aprendeu nada. Cada método da próxima seção é um jeito de manter a energia baixa nos dados e alta no resto. LeCun os agrupa em duas famílias:

• Contrastivos: empurram para baixo a energia dos pares reais e para cima a dos pares "errados". SimCLR, MoCo e CLIP fazem isso com negativos; LeCun conta aqui também os autoencoders de remoção de ruído e os mascarados, pois uma entrada corrompida é um par errado¹. A objeção dele é o custo: o número de pares errados necessário para moldar a superfície pode crescer exponencialmente com a dimensão da representação.
• Regularizados (não contrastivos): limitam o volume do espaço que pode ter energia baixa, para que ela só "embale a vácuo" os dados. Ele argumenta que estes são "muito mais propensos a serem preferíveis no longo prazo"¹.

Os quatro critérios dele para treinar uma JEPA dizem o que o regularizador precisa garantir:

1. maximizar o conteúdo de informação de \(s_x\) sobre \(x\);
2. maximizar o conteúdo de informação de \(s_y\) sobre \(y\);
3. tornar \(s_y\) fácil de prever a partir de \(s_x\);
4. minimizar o conteúdo de informação do latente \(z\).

O critério 3 sozinho é satisfeito pelo colapso. Os critérios 1, 2 e 4 são o que o impede — o 4 existe porque um \(z\) tão grande quanto \(s_y\) deixaria o preditor copiar a resposta de \(z\) e zerar a energia em todo lugar.

Colapso e quatro saídas

O colapso não é uma preocupação teórica. Abaixo, um embedding conjunto bidimensional treinado por descida do gradiente: 64 entradas de 4 classes, duas vistas ruidosas de cada, um encoder linear e a perda "faça as duas vistas concordarem". Mude o que mantém os ramos separados e acompanhe a perda e o espalhamento dos embeddings:

Sem nada no caminho, a perda cai a zero e todos os pontos vão para a origem. A melhor perda das quatro execuções é a da rede que não aprendeu nada. As quatro famílias de métodos da literatura diferem no que põem no caminho:

As ablações que tornaram esses mecanismos famosos são diretas. O SimSiam sem o stop-gradient "encontra rapidamente uma solução degenerada e atinge a menor perda possível" e sua acurácia no ImageNet cai de 67,7% para 0,1%, o nível do acaso; sem o preditor também cai para 0,1%¹¹. O BYOL com \(\tau = 0\), um alvo que é cópia instantânea da rede online (stop-gradient sem média móvel), chega a 0,3%⁹.

O encoder-alvo EMA, com números

Os pesos do encoder-alvo \(\bar\theta\) acompanham devagar os pesos online \(\theta\):

Com \(m = 0{,}996\) — o valor inicial do BYOL, do DINO e do I-JEPA — cada passo move o alvo 0,4% do caminho. Um peso de 250 passos atrás ainda tem \(0{,}996^{250} \approx 0{,}37\) da sua influência, então o alvo é uma média das últimas centenas de versões da rede: um objetivo estável que se move devagar demais para ser arrastado pelo encoder online até uma solução trivial. O I-JEPA aumenta \(m\) linearmente até 1 ao longo do treino, congelando o alvo no final².

Variância e covariância, com números

O VICReg¹⁰ escreve os critérios 1 e 2 como dois termos sobre um lote de \(n\) embeddings \(Z \in \mathbb{R}^{n \times d}\):

em que \(z^j\) é a coluna \(j\) (uma dimensão ao longo do lote), \(\gamma = 1\) é o desvio-padrão alvo, \(\epsilon = 10^{-4}\) evita uma raiz de zero e \(C(Z)\) é a matriz de covariância \(d \times d\). A perda completa soma um termo de invariância (a distância quadrática média entre as duas vistas), com pesos \(\lambda = \mu = 25\) para invariância e variância e \(\nu = 1\) para a covariância.

Tome \(n = 4\) embeddings em \(d = 2\):

• Variância. A coluna 1 tem variância \(4/3 = 1{,}333\) (com \(n - 1\) no denominador), desvio-padrão \(\sqrt{1{,}333 + 0{,}0001} = 1{,}155\), dobradiça \(\max(0, 1 - 1{,}155) = 0\). A coluna 2 tem variância \(0{,}08/3 = 0{,}0267\), desvio-padrão \(0{,}164\), dobradiça \(1 - 0{,}164 = 0{,}836\). Logo \(v = (0 + 0{,}836)/2 = 0{,}418\): a segunda dimensão está quase colapsada e o termo a empurra para fora.
• Covariância. \(C_{12} = (1{\cdot}0 + (-1){\cdot}0 + 1{\cdot}0{,}2 + (-1){\cdot}(-0{,}2))/3 = 0{,}133\), então \(c = (0{,}133^2 + 0{,}133^2)/2 = 0{,}0178\): as duas dimensões são um pouco redundantes.

O comentário do próprio LeCun sobre a diferença: o VICReg "é contrastivo sobre componentes, enquanto os métodos contrastivos tradicionais são contrastivos sobre vetores"¹. Ele não precisa de negativos nem de lote grande.

Como saber se uma representação colapsou

Dois números, ambos usados no laboratório, ambos calculados sobre um lote de embeddings:

• Desvio-padrão dos embeddings normalizados. O diagnóstico do SimSiam¹¹: normalize cada embedding em L2 e tome o desvio-padrão de cada dimensão ao longo do lote. Se os embeddings estivessem espalhados como uma gaussiana isotrópica ele ficaria perto de \(1/\sqrt{d}\); no colapso completo é 0. Nós o reportamos multiplicado por \(\sqrt d\), para que "saudável" fique perto de 1.
• Posto efetivo (RankMe¹⁴). Com \(\sigma_k\) os valores singulares do lote centrado e \(p_k = \sigma_k / \sum_i \sigma_i\), o posto efetivo é \(\exp\!\big(-\sum_k p_k \log p_k\big)\): vale \(d\) quando toda direção é usada igualmente e 1 quando uma direção carrega tudo. Para valores singulares \((3, 1, 0)\): \(p = (0{,}75;\ 0{,}25;\ 0)\), entropia \(0{,}562\), posto efetivo \(e^{0{,}562} = 1{,}75\) — três dimensões, menos de duas em uso. Ele detecta o colapso dimensional¹⁵, o tipo parcial, em que os embeddings continuam espalhados mas só ao longo de poucas direções. Ele não depende da escala, então não enxerga o colapso completo; o desvio-padrão enxerga.

I-JEPA: a receita para imagens

O I-JEPA² é a primeira JEPA treinada em escala. Tudo é um Vision Transformer operando sobre patches e o passo de treino tem quatro partes:

1. Máscaras. Da grade de patches, sorteie \(M = 4\) blocos-alvo, cada um cobrindo 15–20% da imagem com proporção entre 0,75 e 1,5, mais um bloco de contexto cobrindo 85–100%. Tire do contexto todo patch que cai num alvo. Depois o código corta todas as imagens de um lote para o menor contexto entre elas, de modo que em média o encoder vê cerca de um quarto dos patches (Tabela 6 do artigo).
2. Encoder de contexto \(f_\theta\), um ViT que vê só os patches do contexto.
3. Encoder-alvo \(f_{\bar\theta}\), a EMA do encoder de contexto, que vê a imagem inteira. Os alvos \(s_y\) são recortados da saída dele, não da entrada.
4. Preditor \(g_\phi\), um ViT estreito (largura 384, profundidade de 6 a 16 conforme o encoder) que recebe os tokens do contexto mais um token de máscara aprendível com o embedding posicional de cada patch-alvo, uma vez por bloco-alvo.

A perda faz a média da distância quadrática sobre os \(M\) blocos e seus patches:

em que \(B_i\) é o conjunto de posições do bloco \(i\), \(\hat s_{y_j}\) a saída do preditor na posição \(j\) e \(s_{y_j}\) a saída do encoder-alvo ali. Só \(\theta\) e \(\phi\) recebem gradiente. (O código oficial normaliza os alvos com um layer norm sem parâmetros e usa uma perda smooth L1; o artigo escreve L2 pura².)

As máscaras são a parte que se subestima. Experimente a configuração do artigo e depois encolha os alvos ou o contexto:

As ablações do artigo, todas numa sonda linear treinada com 1% dos rótulos do ImageNet (ViT-B/16, salvo indicação), medem quanto as máscaras importam²:

Os alvos precisam ser grandes o bastante para serem semânticos — um bloco do tamanho de um quarto de objeto não se adivinha pela textura vizinha — e o contexto espalhado o bastante para ser informativo.

Um passo de treino, linha por linha

O painel roda um passo do laço de treino numa imagem de brinquedo: 6 patches de 2 números, embeddings de tamanho 3, um contexto de 3 patches e 2 alvos. Um ViT misturaria os patches com atenção; aqui cada patch é codificado sozinho e o preditor faz a média do contexto, para que todo número caiba na tela:

O caso padrão é o exemplo resolvido. O encoder de contexto leva o patch 0, \([1, 0]\), a \([1, 0, 1]\); o encoder-alvo leva o patch 4, \([0, 2]\), a \([0;\ 2{,}2;\ -2]\), que o layer norm transforma em \([-0{,}039;\ 1{,}244;\ -1{,}205]\). O palpite do preditor para essa posição é a média do contexto \([0{,}667;\ 0{,}667;\ 0]\) mais o vetor de posição aprendido \([0, 1, -1]\): \([0{,}667;\ 1{,}667;\ -1]\). Sobre os seis números dos dois alvos a perda é 0,6162 e um passo de gradiente com taxa de aprendizado 0,5 a leva a 0,2214 — enquanto o gradiente do encoder-alvo é None.

Depois escolha o caso colapsado. Todo peso é zero, todo embedding é zero, o layer norm de um vetor nulo é zero e por isso a perda é exatamente 0 e todo gradiente é exatamente 0. É o problema do colapso inteiro numa tela: a solução trivial é um mínimo perfeito e estável da perda; só a dinâmica mantém o treino longe dela.

O que ele comprou

A manchete do I-JEPA foi eficiência sem aumentações de dados feitas à mão. Seu ViT-H/14 treinou no ImageNet-1K em menos de 72 horas em 16 GPUs A100 — menos de 1 200 horas de GPU, mais de dez vezes menos que um MAE ViT-H/14². Acurácia da sonda linear no ImageNet-1K, da Tabela 1 do artigo:

Contra a predição de pixels a comparação é direta: a mesma receita ViT-L/16 com alvos em pixels chega a 40,7% na sonda com 1% dos rótulos depois de 800 épocas, contra 66,9% depois de 500 com alvos de representação².

Por que prever representações ajuda — e quando não ajuda

Um resultado teórico deixa a intuição precisa. Littwin et al. analisaram versões lineares profundas dos dois objetivos¹⁷: uma JEPA tem viés para features de alta influência — as de coeficiente de regressão grande, isto é, as que preveem bem o alvo — enquanto a ordem em que o MAE aprende é ditada pela covariância das features, de modo que detalhes de alta variância vêm primeiro sejam ou não preditivos. O viés "só se instala quando o encoder é profundo". Duas consequências, ambas visíveis no laboratório:

• Uma JEPA não é automaticamente melhor. Encoders pequenos, treinos curtos e imagens minúsculas tiram o regime em que o viés dela compensa.
• Em escala o viés é justamente o ponto: a variância dos pixels em imagens naturais é dominada por textura e iluminação; a semântica tem variância menor e é mais previsível.

Vídeo: V-JEPA e V-JEPA 2

O vídeo é onde o argumento "não preveja cada pixel" é mais forte e foi para onde a linha JEPA seguiu.

O V-JEPA (2024)⁵ aplica a receita a clipes de 16 quadros: os tokens são tubelets de 2 quadros × 16 × 16 pixels, as máscaras são blocos repetidos em todos os quadros (cerca de 90% dos tokens escondidos), a perda é L1 e o preditor é um ViT de 12 blocos e largura 384. Treinado com cerca de 2 milhões de vídeos e avaliado com o encoder congelado e uma sonda atentiva, seu ViT-H/16 chega a 82,0% no Kinetics-400 e 71,4% no Something-Something v2 — o benchmark em que o movimento importa, no qual os modelos de imagem ficam cerca de 20 pontos atrás (DINOv2 ViT-g 50,6%; I-JEPA 50,0%). Contra alvos em pixels com o mesmo modelo e orçamento: 73,7 contra 68,6 no Kinetics-400; 74,8 contra 73,3 no ImageNet⁵.

O V-JEPA 2 (2025)⁶ escala a receita: mais de um milhão de horas de vídeo mais um milhão de imagens, um encoder ViT-g de 1 bilhão de parâmetros, posições rotatórias 3-D e um cronograma de resolução progressiva que corta o custo de treino em 8,4 vezes. O encoder congelado chega a 77,3% no Something-Something v2 e a 39,7 de recall@5 na antecipação de ações do Epic-Kitchens-100, contra 27,6 do melhor anterior. Alinhado a um modelo de linguagem de 8 bilhões de parâmetros, responde perguntas sobre vídeo com 84,0 no PerceptionTest.

V-JEPA 2-AC: a mesma energia, usada para planejar

A segunda metade do artigo do V-JEPA 2 é a ponte para a próxima aula. Congele o encoder. Treine um novo preditor condicionado a ações — cerca de 300 milhões de parâmetros, atenção causal por blocos — com menos de 62 horas de vídeo de robô sem rótulo do conjunto Droid: dada a representação do quadro atual, o estado da garra do robô e uma ação (uma variação 7-D de posição, rotação e garra), prever a representação do quadro seguinte. Esse preditor é um modelo de mundo e a energia da JEPA vira um custo de planejamento:

em que \(\hat s_T\) é a representação prevista depois das ações e \(s_{\text{meta}}\) é a representação que o encoder dá a uma imagem-meta. Um exemplo minúsculo: o embedding da meta é \([1, 0, 2]\) e três ações candidatas levam aos embeddings previstos \([0{,}5;\ 0;\ 1{,}5]\), \([1;\ 0{,}5;\ 2]\) e \([2, 0, 2]\). As energias L1 são \(0{,}5 + 0 + 0{,}5 = 1{,}0\), \(0 + 0{,}5 + 0 = 0{,}5\) e \(1 + 0 + 0 = 1{,}0\): fica a segunda. O V-JEPA 2-AC busca com o método da entropia cruzada — sorteia 800 ações, fica com as 10 de menor energia, reajusta a distribuição de sorteio e repete 10 vezes —, executa a primeira ação, observa e planeja de novo (controle de horizonte deslizante).

Usado sem nenhum ajuste em braços Franka de dois laboratórios que nunca tinha visto, chegou a 65% ao pegar um copo e 80% ao pegar e colocar um copo, contra 15% do Octo, uma política generalista de robô ajustada em todo o Droid. Planejar levou 16 segundos por ação, contra 4 minutos do Cosmos, um modelo de mundo que gera vídeo, na mesma GPU⁶.

O V-JEPA 2.1 (2026) acrescentou uma perda preditiva densa para que as features de cada patch também sirvam (estimativa de profundidade, navegação), chegou a 77,7% no Something-Something v2 e levou a taxa de pegar o copo de 60% a 80% com um horizonte de planejamento maior¹⁸. Um estudo à parte mostrou que o V-JEPA, testado com vídeos de violação de expectativa, distingue eventos fisicamente possíveis de impossíveis — 98% sem ajuste no IntPhys — enquanto modelos de predição de pixels e LLMs multimodais ficaram perto do acaso¹⁹.

A rota regularizada: LeJEPA e SIGReg

A receita de destilação funciona, mas é uma pilha de heurísticas: stop-gradient, cronogramas da EMA, profundidade do preditor, layer norm nos alvos. O LeJEPA (Balestriero e LeCun, 2025)¹³ pergunta qual deveria ser a distribuição dos embeddings e prova que, para minimizar o risco dos preditores treinados em cima dela depois, a resposta é uma gaussiana isotrópica. Em seguida impõe essa distribuição diretamente com o SIGReg (Sketched Isotropic Gaussian Regularization): projete o lote de embeddings em direções unitárias aleatórias \(a\) e, para cada projeção 1-D, meça quão longe sua distribuição está de \(\mathcal N(0, 1)\) com a estatística de Epps–Pulley — a distância quadrática ponderada entre sua função característica empírica e a da gaussiana, \(e^{-t^2/2}\):

O código do artigo calcula a integral com 17 pontos em \([-5, 5]\) e 256 direções por passo. A perda total é \((1-\lambda)\,\mathcal L_{\text{pred}} + \lambda\,\text{SIGReg}\) com um único hiperparâmetro, \(\lambda = 0{,}05\) por padrão. Sem stop-gradient, sem professor–aluno, sem cronogramas; cerca de 50 linhas de código; 79% de acurácia na sonda linear do ImageNet-1K com um ViT-H/14. Onde o VICReg restringe dois momentos (variância e covariância), o SIGReg restringe a distribuição inteira.

O mesmo regularizador é o que tornou o primeiro modelo de mundo JEPA treinável de ponta a ponta a partir de pixels com dois termos de perda: o LeWorldModel (2026), 15 milhões de parâmetros, uma GPU, planejando com o método da entropia cruzada até 48 vezes mais rápido que modelos de mundo construídos sobre features de modelos de base²⁰.

Além da visão

A ideia não está presa a pixels. O LLM-JEPA (2025)²¹ acrescenta um termo JEPA ao treino de modelos de linguagem: uma descrição em linguagem natural e seu código (uma regex, uma consulta SQL) são duas vistas da mesma coisa e o modelo precisa prever o embedding de uma a partir da outra, ao lado da perda usual de próximo token — com ganhos relatados em modelos Llama 3, Gemma 2, OpenELM e OLMo. O VL-JEPA (2025)²² prevê o embedding do texto da resposta em vez dos tokens, decodificando palavras só quando preciso, com metade dos parâmetros treináveis de um modelo comparável no espaço de tokens.

MAE, CLIP e JEPA lado a lado

Rumo aos modelos de mundo

O artigo de posição de LeCun não era sobre features de imagem. Ele descreve um agente feito de seis módulos — percepção, um modelo de mundo, um custo, um ator, uma memória de curto prazo e um configurador — que planeja rodando o modelo de mundo para a frente e escolhendo as ações de menor custo, o que é controle preditivo por modelo com modelo aprendido e custo aprendido¹. A JEPA foi proposta como o modelo de mundo e a H-JEPA as empilha: um nível baixo que prevê em detalhe a próxima fração de segundo, um nível mais alto que prevê mais adiante em termos mais abstratos.

O V-JEPA 2-AC é uma instância funcionando desse laço e seu ponto fraco aparece na equação acima: o custo é uma simples distância L1 até a representação de uma imagem-meta. Dois estados que se parecem podem estar a muitas ações de distância. A próxima aula trata dos modelos de mundo em si; a seguinte, o TDWM (2026), responde exatamente a essa fraqueza pelo lado da representação: a perda faz a similaridade entre dois quadros cair com o número de passos entre eles, então a distância no latente passa a medir tempo e não aparência. O vizinho mais próximo, a Temporal-Distance JEPA²³, mantém a representação e aprende um custo separado que conta os passos.

Laboratório: uma JEPA, construída e medida

O notebook do Colab treina um I-JEPA pequeno no CIFAR-10 e submete cada afirmação desta página a uma medida. Os treinos levaram cerca de 18 minutos no total na GPU do Apple M2 em que ele foi conferido; uma T4 gratuita do Colab fica na mesma faixa. Nove seções, cada uma terminando num checkpoint com valores de conferência:

1. a máscara multi-bloco numa grade de 8 × 8 patches;
2. as três redes — encoder de contexto, encoder-alvo, preditor — e seus tamanhos;
3. um passo de treino à mão e a prova de que o encoder-alvo não recebe gradiente;
4. como medir uma representação sem rótulos (desvio-padrão, posto efetivo) e com eles (sonda linear), nos pixels crus e num encoder não treinado;
5. o I-JEPA, treinado;
6. o colapso, provocado de propósito: tire o stop-gradient, depois tire a EMA;
7. a rota regularizada: sem EMA, sem stop-gradient, um termo de variância e covariância;
8. pixels em vez de representações: um MAE pequeno com o mesmo orçamento;
9. uma tarefa aberta.

O que ele mediu, no CIFAR-10 com um ViT de 4 blocos e 0,8 M de parâmetros (sonda linear treinada com 10 000 imagens de treino, acurácia nas 10 000 de teste; espalhamento é o desvio-padrão dos embeddings normalizados vezes \(\sqrt d\)):

Três leituras. As duas execuções colapsadas têm de longe as menores perdas do notebook e as piores representações — e só o espalhamento pega as duas, porque o posto efetivo não enxerga uma representação que apenas encolheu. Os termos de variância e covariância impedem o colapso por completo (o maior posto de todos) e ainda assim não dão boas features: impedir o colapso é necessário, não suficiente. Nesta escala, por fim, o MAE supera o I-JEPA por quatro pontos: o regime em que prever representações compensa — encoders profundos, imagens grandes, treino longo — é justamente o que um laboratório de 2 horas não alcança.

Abrir o laboratório no Colab — salve uma cópia no seu Drive (Arquivo → Salvar uma cópia no Drive) para rodar e editar.

Para levar

1. Uma JEPA prevê a representação da parte escondida a partir da representação da parte visível. A energia é o erro de predição no espaço de representação, então detalhes imprevisíveis não precisam ser modelados.
2. Todo embedding conjunto pode colapsar: um encoder constante torna todo alvo previsível e a perda zero. Perda caindo não é prova de aprendizado; meça o espalhamento e o posto efetivo.
3. Quatro saídas: negativos (SimCLR, MoCo, CLIP), assimetria com stop-gradient, preditor e alvo EMA (BYOL, DINO, I-JEPA), termos de variância e covariância (VICReg), casamento de distribuição (o SIGReg do LeJEPA).
4. I-JEPA: um bloco de contexto, quatro blocos-alvo grandes, alvos recortados da saída de um encoder EMA que viu a imagem inteira. As escolhas de máscara valem dezenas de pontos.
5. O ganho dele são features congeladas por unidade de computação sem aumentações, não uma vitória geral: métodos com aumentações e o MAE ainda lideram algumas tarefas e em pequena escala reconstruir pixels pode ser melhor.
6. Em vídeo o argumento é mais forte: o V-JEPA supera a predição de pixels com o mesmo orçamento, as features de vídeo ficam cerca de 20 pontos à frente das de imagem onde o movimento importa e o V-JEPA 2-AC transforma a energia num custo de planejamento para um robô real.
7. A JEPA foi proposta como modelo de mundo. A próxima aula começa daí.