Modelos de Mundo Discriminativos Temporais

Um modelo de mundo no estilo JEPA tem três partes: um encoder que transforma um quadro num vetor, um preditor que estima o próximo vetor a partir do atual e de uma ação e alguma coisa que impeça o encoder de trapacear — levar todo quadro ao mesmo ponto, onde a previsão é perfeita e inútil. O capítulo de JEPA montou essa receita e o capítulo de modelos de mundo planejou com ela. Em 2026 a versão mais limpa dela é o LeWorldModel (LeWM)²: MSE do próximo embedding mais um único regularizador, o SIGReg³, que empurra os embeddings para uma gaussiana isotrópica.

Em junho de 2026 William Peng e Holger Molin (Stanford) publicaram uma página de projeto argumentando que a terceira parte é o conserto errado¹. O diagnóstico deles: o regularizador impede o colapso, mas não faz o encoder guardar o que um planejador precisa, porque a própria perda de previsão premia esquecer o que é difícil de prever. A proposta, o Temporal Discriminative World Model (TDWM), apaga o regularizador e muda a perda de previsão: em vez de "preveja o próximo vetor", ela pede quão parecida a previsão deve ser com cada quadro do clipe, em função da distância entre eles no tempo. Uma perda só, sem termo anticolapso.

Este capítulo desmonta essa perda linha a linha, situa-a entre os métodos de que ela empresta ideias e a mede num laboratório — onde, num mundo pequeno o bastante para treinar em minutos, uma das suas três afirmações se reproduz e duas não.

Slides

Clique nos slides e use as setas ← → para navegar; F abre em tela cheia e P abre a visão do apresentador, com as notas. Os dois simuladores desta página rodam dentro dos slides. Abrir os slides numa aba nova

A receita de onde este capítulo parte

Escreva \(o_t\) para a observação (um quadro) no instante \(t\) e \(a_t\) para a ação tomada nele. Um modelo de mundo latente aprende

um encoder \(f_\theta\) com parâmetros \(\theta\) e um preditor \(g_\phi\) com parâmetros \(\phi\), treinados juntos sobre trajetórias offline de observações e ações, sem recompensa. O LeWM os treina com

em que \(Z\) é o lote de embeddings e \(\lambda = 0{,}1\) por padrão². Sem o segundo termo, o primeiro é minimizado por um encoder constante: \(z_t = c\) para todo quadro torna \(\hat z = c\) exato. O SIGReg vem do LeJEPA³: projete o lote em \(M\) direções unitárias aleatórias (\(M = 1024\) no LeWM) e, em cada uma, meça quão longe a distribuição unidimensional está de \(\mathcal{N}(0, 1)\) com a estatística de Epps–Pulley, uma distância ponderada entre funções características. Pelo teorema de Cramér–Wold, acertar toda projeção unidimensional é acertar a distribuição inteira; então os embeddings são empurrados para \(\mathcal{N}(0, I)\) — o que uma constante não consegue ser.

O planejamento acontece no espaço latente. Codifique a imagem do objetivo, \(z_g = f_\theta(o_g)\); para uma sequência de ações candidata, desenrole o preditor \(H\) passos e pontue o último vetor imaginado por \(\|\hat z_H - z_g\|^2\); busque sobre as sequências com o Método da Entropia Cruzada¹⁵ (CEM): amostre muitas sequências de uma gaussiana, guarde as poucas melhores (a elite), reajuste a gaussiana a elas e repita. O LeWM amostra 300 sequências, guarda 30 de elite, planeja 5 passos à frente (25 passos do ambiente, com frame-skip de 5) e os executa antes de replanejar². O capítulo de modelos de mundo trata do CEM e do controle preditivo por modelo por inteiro.

Todo modelo de mundo JEPA precisa responder "o que impede o colapso?" e as respostas diferem mais que as arquiteturas:

O que o regularizador não compra

A página do projeto parte de uma sonda. Treine o LeWM no OGBench Scene¹⁴ — um braço robótico com um cubo, uma gaveta, uma janela e botões —, congele o encoder e ajuste um regressor linear (ridge) dos embeddings para a posição verdadeira de cada objeto, medindo o \(R^2\) fora da amostra:

As partes lentas e quase sempre paradas da cena são recuperáveis quase perfeitamente; as rápidas e controláveis — as que um planejador precisa — não são; uma sonda não linear também não as recupera: a informação não está lá. A explicação dos autores é sobre o objetivo, não sobre o regularizador: a MSE do próximo embedding é minimizada tornando o futuro previsível e o jeito mais seguro de fazer isso é parar de representar as partes dele que são difíceis de antecipar. Um regularizador que só restringe a forma da distribuição dos embeddings não tem como objetar, porque uma nuvem gaussiana pode ser montada só com a gaveta e a janela. O anticolapso é necessário, mas não suficiente.

É uma hipótese com uma sonda num ambiente por trás. É também conhecida: é o mesmo argumento que o capítulo de JEPA fez a favor de prever no espaço latente (ignore o que você não consegue prever), virado do avesso.

O objetivo

O TDWM mantém o encoder e o preditor e muda três coisas¹:

1. Restrição de norma. As saídas do encoder e do preditor são divididas pela norma: \(\|z\| = \|\hat z\| = 1\). Só a direção fica livre, então a perda não pode mais ser baixada encolhendo vetores.
2. Histórico e horizonte. A partir de um histórico de 3 quadros o preditor prevê \(k\) passos à frente, dadas as ações intermediárias: \(\hat z_{t+k} = g_\phi(z_{t-2:t},\, a_{t:t+k-1},\, k)\).
3. A perda. Para uma previsão \(\hat z_i\) cujo alvo é o quadro \(i\) e um quadro codificado \(z_j\) do mesmo clipe, seja \(c_{ij} = \cos(\hat z_i, z_j) = \hat z_i \cdot z_j\). Então

Cada símbolo: \(i\) indexa o quadro que uma previsão mira, \(j\) qualquer quadro do clipe, \(|i - j|\) a distância entre eles em quadros e \(\sigma > 0\) — em quadros — define quão rápido a similaridade-alvo decai com a distância. A página do projeto não informa o valor de \(\sigma\) que usou.

Leia a perda em duas metades:

• \(i = j\) — o alvo é \(e^0 = 1\): a previsão precisa apontar exatamente para o quadro que mira. Em vetores unitários \(\|\hat z - z\|^2 = 2 - 2c\), então isto é previsão do próximo embedding na esfera.
• \(i \neq j\) — o alvo fica abaixo de 1 e cai com a distância: \(e^{-1/2} = 0{,}607\) a um quadro de distância com \(\sigma = 2\), \(e^{-1} = 0{,}368\) a dois quadros, \(0{,}135\) a quatro. A previsão precisa ser em parte parecida com os vizinhos e quase ortogonal aos quadros distantes. Um encoder colapsado dá \(c_{ij} = 1\) em toda parte e paga por cada uma dessas células. Esta metade é o termo anticolapso.

Os alvos também são consistentes. Com \(\tau_{ij} = e^{-|i-j|/\sigma}\) e quadros ordenados \(i \le j \le k\),

então o alvo de uma distância longa é o produto dos alvos das curtas. A página do projeto para aí ("more formal analysis to come"). Mais uma linha fecha a questão de se todos os alvos podem ser atendidos ao mesmo tempo: com \(\rho = e^{-1/\sigma}\), a matriz de alvos tem entradas \(\rho^{|i-j|}\) — a matriz de correlação de um processo autorregressivo de primeira ordem, cujo determinante é \((1 - \rho^2)^{L-1} > 0\) para \(L\) quadros. Ela é definida positiva, então existem \(L\) vetores unitários com exatamente esses cossenos em \(L\) dimensões. A perda não pede algo impossível.

A perda, com números

Um clipe de cinco quadros em três dimensões — pequeno o bastante para conferir cada número à mão. O encoder deu \(Z_{\text{raw}}\) (uma linha por quadro, \(j = 0 \dots 4\)) e o preditor deu \(P_{\text{raw}}\) (as estimativas para os quadros \(i = 1 \dots 4\)):

Pegue a primeira previsão, \(\hat z_1 = (1;\ 0{,}8;\ 0)/\sqrt{1{,}64} = (0{,}781;\ 0{,}625;\ 0)\). Os cossenos dela com os cinco quadros normalizados, os alvos para as distâncias \(1, 0, 1, 2, 3\) e os erros quadráticos são

A célula \(j = 1\) é onde uma MSE olharia e ela é quase perfeita. Os erros estão em outro lugar: a previsão é parecida demais com o quadro 0 e não parecida o bastante com o quadro 4. Fazendo o mesmo nas outras três linhas e tirando a média das 20 células, \(\mathcal{L}_{\text{TDWM}} = 0{,}0285\). A MSE simples entre previsões e quadros brutos é \((0{,}04 + 0{,}01 + 0{,}01 + 0{,}01)/4 = 0{,}0175\). Agora dois clipes que quebram a comparação:

• Colapso. Todo quadro e toda previsão é \((1, 0, 0)\). A MSE é 0. O TDWM vê \(c = 1\) em toda célula: as 4 células com distância 0 não custam nada, mas as 7 com distância 1 custam \((1 - 0{,}607)^2 = 0{,}155\) cada, as 5 com distância 2 custam \(0{,}400\), as 3 com distância 3 custam \(0{,}604\) e a com distância 4 custa \(0{,}748\), uma média de $5{,}640/20 = $ 0,2820 — dez vezes a do clipe saudável.
• Encolhimento. Multiplique todo vetor por 0,1. A MSE cai cem vezes, para 0,000175, sem que nada tenha sido aprendido. O TDWM normaliza antes e fica em 0,0285.

Percorra a mesma conta abaixo, linha a linha, edite os vetores, mude \(\sigma\) ou troque para um dos clipes quebrados:

Por que a geometria do latente importa para planejar

O planejador nunca lê a perda; ele lê distâncias no espaço latente. O segundo argumento da página do projeto é sobre o que essas distâncias significam¹. No Scene, pegue uma tarefa em que o braço já está onde a imagem do objetivo o põe e só a gaveta precisa ser aberta. Num embedding em que a maior parte da cena já está certa, início e objetivo estão perto. Para abrir a gaveta o braço precisa sair — e sair deixa a imagem menos parecida com o objetivo, então o custo sobe antes de descer. Um planejador que enxerga 5 passos à frente não acha sequência que baixe o custo e fica parado. Num latente ordenado pelo tempo, cada passo em direção à gaveta é um passo mais perto no tempo do objetivo e o custo cai o caminho inteiro.

O painel abaixo é esse exemplo em uma dimensão, com os dois custos escritos: uma distância no embedding que pesa o braço e a gaveta e uma distância do TDWM idealizada, \(1 - e^{-(\text{passos restantes})/\sigma}\). O planejador vai para o ponto mais barato que enxerga a até \(H\) passos e empaca se nada à vista for mais barato por mais que o erro do modelo \(\varepsilon\).

Três coisas para achar nele:

1. A lombada. Com os valores padrão o custo no embedding precisa de um horizonte de 12 passos para enxergar além da lombada; com \(H = 5\) empaca no passo 0. O custo temporal chega ao objetivo com qualquer horizonte.
2. O campo distante plano. Ponha \(\sigma = 3\). A trinta passos do objetivo o custo temporal é \(1 - e^{-10}\) e cinco passos de progresso o mudam em \(2 \times 10^{-4}\), abaixo de um erro de modelo de \(0{,}003\): o planejador empaca de novo, num platô. Os alvos \(e^{-|i-j|/\sigma}\) não dizem nada sobre pares a mais de alguns \(\sigma\) de distância; então um custo do TDWM só tem inclinação dentro desse alcance. \(\sigma\) não é só uma constante de suavização: ele define o alcance do planejador.
3. A idealização. A curva laranja supõe que o encoder realiza os alvos exatamente ao longo da demonstração. Um encoder de verdade só ouve falar de pares dentro de um clipe de treino; dois estados de clipes diferentes nunca são comparados e nada obriga o cosseno entre eles a significar alguma coisa.

O mesmo descompasso entre aquilo em que o modelo é treinado e aquilo que o planejador pontua é o que o Temporal-Distance JEPA⁴ chama de lacuna entre treino e planejamento (train–plan gap): no Push-T, a distância L2 latente do LeWM se correlaciona com a separação temporal verdadeira de pares fora da amostra com Spearman \(\rho = 0{,}65\), contra \(\rho = 0{,}95\) para um custo treinado sobre contagens de passos. O capítulo de modelos de mundo trata dessa lacuna em geral.

O que a página do projeto relata

A comparação é TDWM contra LeWM, os dois treinados com os mesmos dados — trajetórias de especialista mais as mesmas trajetórias reexecutadas com ruído nas ações e renderizadas de novo — por 0,8 exaFLOPs cada, guardando o checkpoint com a maior pontuação de CEM em O25 e planejando com previsão autorregressiva de 1 passo nos dois¹.

"O25" é um objetivo 25 passos adiante ao longo de uma trajetória do conjunto de dados; as barras de erro da página são erros padrão entre sementes e o número de sementes não é informado. A figura da sonda não diz se é a sonda ridge ou a MLP; os números do LeWM nela batem com a sonda ridge acima. O posto efetivo é a exponencial da entropia dos valores singulares normalizados dos embeddings¹⁶ — quantas direções eles de fato usam; o ambiente tem 24 graus de liberdade.

Três outros resultados da página informam tanto quanto a manchete:

• Só com dados de especialista o resultado do planejamento se inverte. Treinado só com trajetórias de especialista, o LeWM supera o TDWM no planejamento (os números não são informados). O preditor do TDWM se degrada bastante quando o planejador tenta ações fora da distribuição do especialista: a fidelidade normalizada cai para cerca de 0,70 com uma perturbação de ação de 1,8 desvio padrão, contra cerca de 0,94 no LeWM (treinado com a mistura ruidosa, o TDWM fica perto de 0,89). Nos dados de especialista, as ações preveem o estado com \(R^2 = 0{,}71\); os autores suspeitam que o TDWM aprendeu intenção em vez de física e acrescentam trajetórias ruidosas (\(R^2 = 0{,}31\)). A tabela acima só vale para essa mistura.
• Os limites superiores. Em O25, o encoder do TDWM treinado com dados de especialista, com o simulador MuJoCo verdadeiro no lugar do preditor aprendido, chega a 66%; o CEM no estado verdadeiro com o simulador verdadeiro chega a 77%, o teto da própria avaliação. O TDWM treinado com ruído e com o seu próprio preditor (63%) fica a 3 pontos do primeiro limite. Na nossa leitura, os 11 pontos entre 66% e 77% são o que custa planejar num latente aprendido em vez de no estado verdadeiro, mesmo com dinâmica perfeita.
• Duas escolhas de engenharia de que a comparação depende: previsão em vários horizontes (97% dos FLOPs de treino vão para o encoder, então prever vários \(k\) por clipe custa pouca computação a mais) e um otimizador Muon–AdamW fundido.

Onde o TDWM se encaixa

Usar o tempo como sinal de supervisão de uma representação é uma ideia antiga; o novo é usá-lo como o único objetivo de um modelo de mundo JEPA condicionado a ações, com alvos graduados em vez de binários.

O vizinho mais próximo é o Temporal-Distance JEPA e os dois fazem apostas complementares. O TD-JEPA mantém o encoder, o preditor e as perdas do LeWM e acrescenta um custo separado e dirigido \(d_\psi(z_s, z_g)\) — ir de \(A\) a \(B\) não precisa custar o mesmo que ir de \(B\) a \(A\), o que um cosseno não consegue expressar. Ele relata, sob um protocolo travado com dez sementes, 100,0% no Two-Room (LeWM 97,4%) e 97,0% no Reacher (96,0%) planejando com \(d_\psi\). No Push-T (86,0% contra 83,6%) e no OGBench-Cube (82,2% contra 68,0%, um ganho de 14,2 pontos) ele planeja com a L2 latente simples — ali o custo minerado ajuda como sinal de treino da representação, não como custo do planejamento⁴. Repare de passagem que o próprio artigo do LeWM relata 96% no Push-T sob o seu protocolo nativo: o mesmo método, 12 pontos de diferença só pelo protocolo de avaliação. O TDWM, ao contrário, muda a representação e mantém o custo latente simples; o seu alvo é simétrico e satura além de alguns \(\sigma\), o que a regressão do TD-JEPA sobre contagens de passos não faz.

Limites honestos

• Evidência. Um ambiente, uma comparação, uma página de projeto. Nada ainda sobre navegação, robôs reais ou escala.
• Dependência dos dados. O método precisa que o tempo signifique progresso. Com dados só de especialista ele planejou pior que o LeWM; com dados sem rumo (passeios aleatórios que revisitam o mesmo lugar) um alvo que diz "quadros a 20 passos de distância são ortogonais" contradiz uma imagem que é idêntica. O conserto da página — especialista mais ruído — é uma exigência sobre os dados, não um detalhe.
• Supervisão local ao clipe. Só pares dentro de um clipe de treino são comparados. Nada na perda relaciona dois estados de clipes diferentes; então o custo entre eles é o que a suavidade da rede fizer dele.
• Custo simétrico e saturado. \(e^{-|i-j|/\sigma}\) trata "5 passos antes" e "5 passos depois" do mesmo jeito e fica plano além de alguns \(\sigma\); alcançar um objetivo é algo dirigido e de longo alcance. Os métodos quasimétricos¹⁰ e o TD-JEPA⁴ foram construídos exatamente em torno disso.
• A fatia do preditor. Num clipe de \(L\) quadros, as células \(i = j\) — as únicas que treinam o preditor a acertar o alvo — são uma fração \(1/L\) da média simples. A menos que os pares sejam amostrados ou pesados de outro jeito (a página não diz), a qualidade de rollout de que o planejador precisa recebe pouco do gradiente. O laboratório mede isso.

Laboratório: o objetivo, medido

O notebook no Colab reconstrói o TDWM a partir da fórmula num mundo pequeno o bastante para treinar numa CPU em menos de dez minutos: uma imagem \(16 \times 16\) de um agente movido pela ação (o braço), um disco que ele pode empurrar (o cubo) e um marco que nunca se move (a gaveta). Quatro modelos com o mesmo encoder, o mesmo preditor e o mesmo orçamento — 2.000 passos de AdamW — diferem só na perda: MSE simples, MSE + SIGReg (a receita do LeWM), TDWM e a metade \(i = j\) do TDWM sozinha. O que ele encontrou:

(O oráculo — CEM com a dinâmica verdadeira — acerta 100% das 30 tarefas em todos os deslocamentos; uma tarefa vale 3,3 pontos e o erro padrão de uma taxa de 50% é de cerca de 9 pontos.)

• Reproduzido: anticolapso sem regularizador. mse e diag colapsam; tdwm mantém o mesmo espalhamento do SIGReg sem regularizador nenhum e a diferença entre diag e tdwm são exatamente as células \(i \neq j\).
• Não reproduzido: sondas melhores ou planejamento melhor. A sonda linear do TDWM é um pouco melhor no agente e pior no disco; com uma sonda MLP os dois modelos sabem tudo. O TDWM planeja pior em todos os deslocamentos.
• Por quê, medido. O preditor do TDWM chega a um cosseno de só 0,74 com o alvo um passo à frente e o seu rollout de 5 passos não tem relação com a verdade. Duas mudanças melhoram o rollout: \(\sigma = 12\) (0,88 um passo à frente, mas sucesso de 13% / 23% / 30%, nada melhor que \(\sigma = 4\) dentro do ruído) e, mudança nossa, não do artigo, dar às células \(i = j\) o mesmo peso de todas as outras juntas — com \(\sigma = 12\) o rollout se mantém em 0,57 depois de cinco passos e o sucesso chega a 50% / 37% / 47%: atrás da linha de base em O10 e O20 e à frente em O30; cada distância fica dentro de cerca de um erro padrão (uns 13 pontos para a diferença entre duas taxas).
• Armadilha. Os modelos colapsados têm posto efetivo alto (26 de 32): o posto não depende da escala e o que sobra depois do colapso é ruído isotrópico. Leia-o só ao lado de um espalhamento.

O que isto não mostra é que a página do projeto está errada: a premissa dela é que MSE + SIGReg descarta a variável difícil de prever e, neste mundo, isso não acontece (a sonda MLP recupera o disco com 0,958). Um brinquedo só testa o conserto se reproduz a falha. A tarefa aberta final pede que você construa um mundo em que ela aconteça.

Abrir o laboratório no Colab — salve uma cópia no seu Drive (Arquivo → Salvar uma cópia no Drive) para rodar e editar.

Para levar

1. Um modelo de mundo JEPA precisa responder "o que impede o colapso?" Encoders pré-treinados congelados, perdas de vários termos no estilo do VICReg, o SIGReg e agora a perda do TDWM são quatro respostas diferentes.
2. O diagnóstico do TDWM: o anticolapso é necessário, mas não suficiente — a MSE do próximo embedding premia descartar o que é difícil de prever e um regularizador sobre a distribuição não objeta.
3. A perda do TDWM regride cada cosseno \(c_{ij}\) de um clipe sobre \(e^{-|i-j|/\sigma}\). As células \(i = j\) são previsão na esfera; as células \(i \neq j\) são o termo anticolapso. O colapso lhe custa 0,2820 no exemplo resolvido, contra 0 para a MSE; encolher não lhe custa nada.
4. Os alvos são consistentes (\(\tau_{ik} = \tau_{ij}\tau_{jk}\), uma matriz definida positiva), mas simétricos e saturados: \(\sigma\) define até que distância do objetivo o custo ainda tem inclinação.
5. TD quer dizer discriminativo temporal, não diferença temporal: sem valor, sem recompensa, sem bootstrapping.
6. A página do projeto relata sondas melhores do cubo (0,56 vs 0,27) e do braço (0,69 vs 0,39) e sucesso maior do CEM (63/38/15% vs 50/28/4%) em um ambiente, com dados aumentados por ruído — e o contrário com dados só de especialista. Preliminar, hiperparâmetros não divulgados, sem código.
7. No brinquedo deste curso, a afirmação do anticolapso se reproduziu e as de sonda e planejamento não; dar ao preditor uma fatia maior da perda (com \(\sigma = 12\)) fechou a maior parte da diferença no planejamento, mas não a inverteu.