Modelos de Mundo Discriminativos Temporais

Leia isto primeiro

Comece por uma pergunta

= quadro no instante · = ação · = encoder · = preditor (lê os 3 últimos embeddings)

• Levar todo quadro ao mesmo vetor : então é exato. Perda zero, informação zero — colapso.

O que impede o colapso?

LeWM: ~15M de parâmetros, uma GPU, planejamento até 48× mais rápido que modelos de mundo sobre modelos de fundação (Maes et al., 2026).

O SIGReg num slide

O que o regularizador não compra

Sonda sobre um encoder do LeWM treinado no OGBench Scene: fora da amostra dos embeddings para a posição verdadeira de cada objeto.

• As partes lentas sobrevivem; as rápidas e controláveis — o que o planejador precisa — não, nem para uma MLP.
• A leitura do TDWM: a MSE do próximo embedding é minimizada tornando o futuro previsível — o jeito mais seguro é parar de representar o que é difícil de antecipar.
• Uma nuvem gaussiana pode ser montada só com a gaveta e a janela. O anticolapso é necessário, mas não suficiente.

O objetivo

1. Restrição de norma: — só a direção fica livre.
2. Histórico e horizonte: .
3. A perda, sobre todo par de um clipe:

= o quadro que uma previsão mira · = qualquer quadro do clipe · = distância em quadros · = decaimento, em quadros (não divulgado)

Um passo de treino

• → alvo 1. Em vetores unitários : previsão do próximo embedding na esfera.
• → alvo abaixo de 1, caindo com a distância: vizinhos em parte parecidos, quadros distantes quase ortogonais. Esta metade é o termo anticolapso.

Exercício · um clipe colapsado

Um clipe de 5 quadros; o preditor estima os quadros 1–4, então a matriz é (20 células). .

Um clipe colapsado · resposta

• TDWM: 0,2820. MSE: 0 — o clipe colapsado é uma resposta perfeita para ela.

A perda, com números

Dá para atender a todos os alvos ao mesmo tempo?

• O alvo de uma distância longa é o produto dos alvos das curtas (a página do projeto para aqui).
• Com a matriz de alvos tem entradas : a matriz de correlação de um processo AR(1).
• → definida positiva → existem vetores unitários com exatamente esses cossenos em dimensões.

Por que a geometria importa: o planejador lê distâncias

CEM (parâmetros do LeWM): amostre 300 sequências de ações de comprimento , desenrole o preditor, pontue , guarde as 30 melhores, reajuste a gaussiana, repita 10×; execute, replaneje.

Exercício · até onde σ alcança?

O custo idealizado do TDWM é . O objetivo está a 30 passos, o planejador olha 5 passos à frente e o erro do modelo é .

Até onde σ alcança · resposta

O que a página do projeto relata

Os mesmos dados para os dois (especialista + reexecuções com ruído nas ações), 0,8 exaFLOPs cada, checkpoint com o melhor O25, planejamento autorregressivo de 1 passo.

O25 = objetivo 25 passos adiante numa trajetória do conjunto de dados. Barras de erro: erro padrão entre sementes; número de sementes não informado.

Os resultados ao lado da manchete

• Só com dados de especialista o resultado se inverte: o LeWM planeja melhor (números não informados). A fidelidade do preditor do TDWM cai para ≈ 0,70 sob uma perturbação de ação de 1,8 desvio padrão (LeWM ≈ 0,94).
• As ações de especialista preveem o estado com → o TDWM pode aprender intenção, não física. Com as reexecuções ruidosas: .
• Limites superiores em O25: encoder do TDWM treinado com especialista + simulador verdadeiro 66%; estado verdadeiro + simulador verdadeiro 77%. TDWM treinado com ruído: 63%.
• Engenharia: previsão em vários horizontes (97% dos FLOPs no encoder), Muon–AdamW fundido.

Onde o TDWM se encaixa

TD-JEPA e TDWM: apostas complementares

Laboratório · o que medimos

Um mundo 16×16: agente (o braço), disco que ele empurra (o cubo), marco que nunca se move (a gaveta). As mesmas redes, 2.000 passos de AdamW cada; só a perda muda.

• Reproduzido: sem colapso e sem regularizador — e diag mostra que isso vem das células .
• Não reproduzido: sondas melhores, planejamento melhor. Armadilha: um modelo colapsado tem posto efetivo alto.

Laboratório · por quê, medido

Laboratório · o objetivo, medido

Notebook no Colab, ~2 h, só CPU (menos de 10 minutos de computação). Cada seção termina num checkpoint.

abrir no Colab →

Para levar

1. Todo modelo de mundo JEPA precisa responder "o que impede o colapso?" — encoders congelados, termos no estilo do VICReg, SIGReg ou a perda do TDWM.
2. O diagnóstico do TDWM: o anticolapso é necessário, mas não suficiente; a MSE premia descartar o que é difícil de prever.
3. A perda regride cada sobre : é previsão na esfera, é anticolapso. Colapso: 0,2820 vs MSE 0.
4. Alvos consistentes (definidos positivos), mas simétricos e saturados: σ define até onde o custo alcança.
5. TD = discriminativo temporal, não diferença temporal.
6. Relatado: cubo 0,56 vs 0,27, CEM 63/38/15% vs 50/28/4% — um ambiente, invertido com dados só de especialista.
7. O nosso brinquedo: o anticolapso se reproduziu; sondas e planejamento não. Uma fatia maior da perda para o preditor fecha a maior parte da diferença no planejamento, sem invertê-la.