Redes Neurais Artificiais e Deep Learning · Insper

Modelos de Mundo

Aprender o mundo e depois planejar dentro dele

Comece pelo custo de uma lição

Um braço robótico precisa aprender a pegar um copo. Cada tentativa real leva um minuto e pode quebrar
alguma coisa. O que você ia querer antes de tentar?

  • Um jeito de testar ações na cabeça: prever o que cada uma faz, ordená-las e só então agir.
  • Isso é um modelo de mundo. O PlaNet, um dos primeiros que funcionam a partir de pixels, treinou por 1 000 episódios em cada uma das suas seis tarefas de controle e chegou perto do D4PG, sem modelo, que usou 100 000.

"Se o organismo carrega um 'modelo em pequena escala' da realidade externa e das próprias ações possíveis dentro da cabeça, ele consegue experimentar várias alternativas…" — Craik, 1943

O que é um modelo de mundo

símbolo significado
observação no instante (um quadro)
codificador: quadro → estado latente
ação tomada no instante
, transição: o modelo de
o chapéu = algo que o modelo imaginou

Cabeças opcionais sobre o latente: decodificador (pixels), recompensa, valor, política. Quais cabeças existem e o que a perda compara separam as famílias.

Por que um agente quer um

  1. Planejar — buscar sequências de ações no modelo e executar a melhor. O objetivo pode mudar na hora do teste.
  2. Imaginar — gerar experiência sintética e treinar uma política nela (o Dyna de Sutton, 1991; todo Dreamer).
  3. Poupar interação real — o recurso caro.

O preço: toda decisão agora passa por algo que pode estar errado.

Esta aula trata de onde ele erra e do que isso faz com um planejador.

Diagrama · cinco famílias, um pipeline

V–M–C · o primeiro agente treinado no próprio sonho

parte rede parâm.
V VAE: 64×64 → 4 348 547
M MDN-RNN: LSTM 256, 5 gaussianas 422 368
C uma camada linear 867

CarRacing: 906 ± 21 (resolvido = 900). VizDoom: C treinado inteiramente dentro do sonho de M.

"Enganar o modelo de mundo": no sonho, C achou uma política em que os monstros nunca disparam uma bola de fogo.

temperatura de M sonho jogo real
0,10 2 086 193
1,15 918 1 092

Ha & Schmidhuber (2018). O placar é o número de passos de tempo sobrevividos.

O RSSM · PlaNet e Dreamer

  • : memória determinística (uma GRU). : parte estocástica. O artigo concluiu que as duas são cruciais.
  • Perda = reconstruir e + — a receita do VAE esticada no tempo.
  • O KL é o que faz o prior, única coisa disponível na imaginação, concordar com o que a observação revelou.

O PlaNet planeja com CEM: horizonte 12, 10 iterações, 1 000 candidatos, os 100 melhores mantidos.

Dreamer · aprender o comportamento na imaginação

Um ator e um crítico treinados só em rollouts imaginados de passos; o gradiente do valor volta pelo modelo.

O crítico regride um retorno λ ( = desconto, = quanto confiar nas recompensas imaginadas):

  • : confia no crítico depois de um passo.
  • : confia nas recompensas imaginadas até o horizonte — e em todo erro do modelo junto.
  • Dreamer: , .

Exercício · um retorno λ à mão

, , . Recompensas imaginadas , . Valores do crítico , .

Calcule , e .

Um retorno λ à mão · resposta

passo conta valor
3
2,97
3,892
  • do peso vai para o crítico a cada passo; , para o resto do retorno imaginado.
  • O alvo mistura recompensas imaginadas e estimativas do crítico: o crítico limita o quanto um modelo errado consegue empurrá-lo.

A linhagem do Dreamer

o que acrescentou
DreamerV2 (2021) 32 variáveis categóricas × 32 classes; KL balancing (). Nível humano em 55 jogos de Atari, uma GPU
DreamerV3 (2023; Nature 2025) um conjunto de hiperparâmetros para 150+ tarefas: , free bits (nenhum KL abaixo de 1 nat). Primeiro a coletar diamantes no Minecraft do zero
Dreamer 4 (2025) um modelo de mundo em vídeo de 2B parâmetros, 21 quadros/s numa GPU. Treinado em 2 541 h de partidas gravadas; o agente aprende só dentro dele e ainda obtém diamantes (0,7% dos episódios)

MuZero · um modelo do que importa

  • : representação · : dinâmica · : predição ( = política, = valor).
  • Perda: recompensa + valor + política, ao longo de passos desenrolados. Nenhuma reconstrução.
  • Usado para planejar com busca em árvore Monte Carlo: 800 simulações por lance (tabuleiro), 50 (Atari).

Um modelo julgado só pelas decisões que sustenta — livre para ignorar o fundo, a textura do tabuleiro. Empatou com o AlphaZero no Go, no xadrez e no shogi sem receber as regras.

Modelos preditivos latentes · nenhum pixel

Prever a próxima representação, não o próximo quadro — a ideia JEPA, com ações.

modelo codificador planejamento
TD-MPC2 (2024) aprendido, + recompensa e valor MPPI · um agente de 317M, 80 tarefas
DINO-WM (2025) patches do DINOv2 congelado CEM · MSE até a representação da imagem-objetivo
V-JEPA 2-AC (2025) codificador de vídeo, 1M+ horas de vídeo; < 62 h de vídeo de robô CEM · L1 até a representação da imagem-objetivo · zero-shot em braços Franka

O custo de planejamento é uma distância entre representações. Guarde isso — ele volta.

Planejar no modelo · MPC com CEM

modelo: imaginar N planosbuscar H ações no modelomundoexecutar a primeira açãomundoobservar o estado realMPC: repete a cada passo

CEM, vezes:

  1. sortear planos
  2. desenrolar cada um no modelo, custo
  3. reajustar aos mais baratos (a elite)

MPPI: pesos suaves em vez dos melhores.

Nenhum gradiente: o modelo só roda para a frente.

Simulador · uma decisão de MPC, linha a linha

mundo: x′ = x + a, a ∈ [−1, 1] · partida x₀ = 0 · objetivo g = 2

Exercício · uma iteração do CEM

, objetivo , custo , modelo , .
Quais planos formam a elite e quais são os novos e ?

plano
1 1,000 −1,000 0,336
2 −0,456 −0,360 −0,176
3 −1,000 −0,184 −0,696
4 1,000 0,184 −0,280
5 −0,224 −0,536 −0,848
6 −0,312 0,384 −0,192

σ é o desvio-padrão da elite + 0,05.

Uma iteração do CEM · resposta

plano imaginado custo
1 1; 0; 0,336
4 1; 1,184; 0,904
outros — 8,264; 10,064; 8,592; 6,360
  • Elite: planos 4 e 1.
  • — por exemplo, .
  • — por exemplo, .
  • Depois de uma segunda iteração: , custo 2,846. O ótimo custa 1,0 — seis amostras são uma busca grosseira; o PlaNet sorteia 1 000.

Simulador · malha aberta ou MPC

Falha 1 · erro composto

Treinado com entradas reais, usado sobre as próprias saídas: .

Verdade , modelo , :

erro
1 0,02
10 0,219
30 0,811

Medido no laboratório (posição da mancha, sala de largura 2):
treinado em 1 passo 0,0146 0,188
treinado em 10 passos 0,0192 0,068

O objetivo decide em que o modelo é bom.

Remédios: treinar sobre os rollouts do próprio modelo · rollouts curtos a partir de estados reais (MBPO) · um valor aprendido no fim (TD-MPC, Dreamer) · replanejar a cada passo.

Falha 2 · o planejador explora o modelo

planos, todos com custo verdadeiro . O modelo soma um erro independente . Que custo previsto tem o plano escolhido?

  • O planejador toma . O mínimo de 1 000 normais padrão é cerca de .
  • Previsto: . Real: . Ele achou o plano em que o modelo mais erra a favor dele.
  • Buscar mais piora.

No laboratório, a parede aparece em 1,75% dos dados do jogo aleatório. Com o custo certo, o planejador no modelo aprendido resolve 2 de 10 tarefas de parede; 8 de 10 planos imaginados atravessam a parede (prometido 0,68 de caminho restante, real 0,94).

Consertar a exploração

tornar o modelo honesto

  • Conjuntos de modelos (PETS: 5 redes probabilísticas): onde os membros discordam, o plano parece arriscado em vez de atraente.
  • A temperatura de Ha & Schmidhuber é uma versão mais grosseira.

ir buscar os dados

  • Fechar o laço: agir com o planejador, registrar o que aconteceu, treinar de novo — Dyna, PlaNet, Dreamer, MuZero.
  • Laboratório: 600 transições do planejador, 72% delas batendo na parede.
  • Tarefas de parede 2 → 7 em 10; travessias imaginadas 8 → 2.

Falha 3 · qual objetivo está mais perto?

Numa sala com uma parede até , o agente está em e o objetivo em , do outro lado.
Cada passo anda no máximo 0,1 em cada eixo. Quão longe está o objetivo — para o olho e para o agente?

  • Duas manchas em lados opostos de uma parede formam imagens parecidas. O que o codificador vai dizer?

Falha 3 · a lacuna entre treino e planejamento

sgaberturaparede (até y = 0,3)linha reta: 1,2 · 12 passoscontornando a parede: 2,163 · 18 passoss = (−0,6; −0,6) · g = (0,6; −0,6)2√(0,6² + 0,9²) = 2,163

  • Linha reta 1,2 (12 passos); contornando pela ponta 2,163 (18 passos).
  • Laboratório, 1 124 pares com a parede no meio — correlação de postos da distância latente: 0,93 com a euclidiana, 0,41 com o comprimento do caminho.
  • Simulador perfeito, custo euclidiano: 1/10. Mesmo simulador, custo de comprimento do caminho: 10/10.

O modelo nunca foi o problema ali. O custo nunca foi treinado para significar progresso.

A lacuna que a próxima aula fecha

"O treino ao estilo JEPA otimiza a previsão latente de horizonte curto, enquanto o planejamento exige ordenar futuros imaginados, ao longo de vários passos, pelo progresso em direção ao objetivo." — Temporal-Distance JEPA (2026)

  • Lambert et al. (2020) deram nome à forma geral, descasamento de objetivos (objective mismatch): treinar pela verossimilhança de um passo e torcer pelo desempenho de controle.
  • O remédio do TD-JEPA: aprender, a partir de trajetórias sem recompensa, um custo que mede o progresso temporal — passos ao longo da mesma trajetória como positivos, outras trajetórias como negativos — e planejar com ele.
  • A próxima aula, o TDWM, conserta a representação: quadros próximos no tempo são treinados para ficar próximos no latente.

Modelos de mundo em vídeo, 2024–2026

modelo números públicos
GameNGen (DOOM) 20 quadros/s numa TPU · PSNR 29,4 · avaliadores acertam 58–60%
Genie 11B parâm. · 30 000 h de vídeo de jogos de plataforma 2-D · 8 ações latentes · ~1 quadro/s
Oasis autoencoder ViT + DiT · 20 quadros/s · pesos de 500M publicados
Genie 2 / 3 consistente "por até um minuto" / 720p, 24 quadros/s, "alguns minutos" · tamanho do Genie 3: não divulgado
Cosmos ~100M trechos de 20M h de vídeo · difusão 7B/14B, autorregressivo 4B/12B
Dreamer 4 2B parâm. · 21 quadros/s numa H100 · um agente treinado dentro dele

Pixels ou representações?

gerativo (pixels) preditivo latente
prevê o próximo quadro a próxima representação
custo por passo imaginado uma passada de remoção de ruído num quadro uma rede pequena sobre um vetor
os erros parecem deriva visual nada visível: geometria
parte difícil consistência por minutos; física que só parece certa um custo que signifique progresso

V-JEPA 2-AC contra Cosmos, mesma GPU: 16 s contra 4 min por ação do robô; pegar e colocar 80% / 50% (copo / caixa) contra 0% / 0%.
Para um planejador, representações bastam; para uma pessoa que assiste ou joga, os pixels são o objetivo.

Limites honestos

  • Horizontes longos ainda são a fronteira: PlaNet e Dreamer imaginam 12–15 passos; o V-JEPA 2-AC, alguns segundos de movimento.
  • "Parece certo" ≠ "está certo": avaliadores mal distinguirem o GameNGen do DOOM não diz nada sobre a física. Não há benchmark aceito.
  • A exploração nunca desaparece — reduzida por incerteza e dados de laço fechado, nunca eliminada.
  • Planejar com imagem-objetivo exige uma imagem-objetivo; linguagem ou recompensas como custo de planejamento é um problema aberto.
  • Muito não é divulgado: no Genie 3 e nos modelos de vídeo fechados, arquitetura, tamanho e dados não são públicos.

Laboratório · aprender um mundo e planejar dentro dele

Notebook no Colab, ~2 h, só CPU, nada para baixar: uma mancha numa sala 2-D com uma parede, vista como imagem 16×16.

  1. o mundo e as duas distâncias
  2. jogo aleatório — a parede em 1,75%
  3. codificador + decodificador + transição
  4. erro composto ao longo de 30 passos
  5. treino em rollouts de 10 passos
  1. MPC com CEM: aleatório, simulador, modelo
  2. a lacuna entre treino e planejamento, medida
  3. exploração: promessa × realidade
  4. fechar o laço
  5. sua vez: aprender o custo, acrescentar pessimismo ou ajustar o planejador

abrir no Colab →

Para levar

  1. Um modelo de mundo aprende num espaço latente, para planejar, imaginar e poupar interação real.
  2. As famílias diferem no que é previsto: pixels (V–M–C, RSSM, vídeo), decisões (MuZero), representações (TD-MPC2, DINO-WM, V-JEPA 2-AC).
  3. O MPC planeja, executa uma ação e replaneja; CEM/MPPI buscam sem gradientes.
  4. Erro composto: treinado com entradas reais, usado sobre as próprias saídas. Treine em rollouts; mantenha-os curtos.
  5. Exploração: o planejador escolhe os erros do modelo a favor dele. Conjuntos de modelos e dados de laço fechado.
  6. Lacuna entre treino e planejamento: o custo nunca foi treinado para significar progresso — próxima aula.
  7. Pixels para pessoas assistirem e jogarem; representações para planejadores.

Roteiro: (1) o que é um modelo de mundo e por que um agente quer um; (2) as famílias: V–M–C, RSSM e Dreamer, MuZero, modelos preditivos latentes; (3) planejar no modelo com MPC e CEM; (4) as três maneiras de dar errado: erro composto, exploração, lacuna entre treino e planejamento; (5) modelos de mundo em vídeo e limites honestos. Fecha com o laboratório no Colab.

Os números do PlaNet são da Tabela 1 do artigo: 100× menos episódios que o D4PG. Os "200×" do artigo são outra medida: quantos episódios a mais o D4PG precisa para chegar ao placar final do PlaNet, estimado tarefa a tarefa (de 40× a 500×) e tirada a média.

Percorra as abas. Pergunte em cada uma: o que a perda compara? Pixels (V–M–C, RSSM, vídeo), decisões (MuZero), representações (estilo JEPA).

Percorra os 14 passos com o modelo verdadeiro. Depois troque para o modelo 25% rápido demais e pule para a linha 8: prometido 2,057, real 2,846.

Padrão: 15° de erro de direção. Plano cego: termina a 0,43 do objetivo, a diferença cresce 0,13 a cada 5 passos. MPC: chega em 17 passos. Teste 30° e −30% de velocidade.