Mapa do Curso

Todo capítulo deste curso é uma resposta a um anterior. O mapa abaixo põe todos eles numa linha do tempo, do neurônio de McCulloch–Pitts de 1943 aos modelos de mundo de 2026, junto com as abordagens de fora do curso em que os capítulos se apoiam: LSTMs, fluxos normalizadores, aprendizado contrastivo, MuZero e mais algumas.

O mapa

Como ler:

• Linhas são tempo. Cada caixa fica no seu ano e o tempo desce. A escala é comprimida antes de 2005 e esticada depois, onde vive a maior parte do curso. Caixas do mesmo ano na mesma coluna se empilham, então uma caixa pode ficar um pouco abaixo da linha do seu ano; vale o ano escrito na caixa.
• Colunas são temas: dados e avaliação, aprendizado e treino, arquiteturas, linguagem e LLMs, modelos generativos, representações e modelos de mundo.
• Caixas sólidas são capítulos do curso, com o número do capítulo. Caixas tracejadas são de fora dele. Só capítulos do curso apaga as tracejadas.
• Setas são linhagem: uma ideia aponta para as que se apoiam nela. Clique numa caixa para acender os antecessores em laranja e os sucessores em verde; a legenda leva ao capítulo.
• Clique numa caixa para lê-la em palavras simples. Embaixo do mapa, cada ideia ganha dois parágrafos curtos: o que ela trouxe (explicado como para quem está chegando na área) e onde é usada hoje, seguidos de um link para o artigo que a introduziu.

Cinco fios que vale seguir

Clique na última caixa de cada fio e o mapa o desenha para você.

1. A base do treino. McCulloch–Pitts → perceptron → retropropagação, com a aproximação estocástica de Robbins–Monro por baixo. Toda caixa posterior herda isso: inicialização, normalização, dropout e Adam tornaram a profundidade treinável; o caminho identidade da ResNet a tornou profunda de fato.
2. Das convoluções aos patches. Neocognitron → LeNet → AlexNet → ResNet, depois o Transformer assume a visão com o ViT. Os mesmos patches alimentam MAE, CLIP, DiT e I-JEPA.
3. Dos vetores de palavras aos modelos que raciocinam. Um modelo de linguagem neural (2003) → word2vec → seq2seq → atenção → Transformer → GPT → leis de escala → GPT-3 → RLHF → compute no teste. A coluna de avaliação acompanha: primeiro a perplexidade, por último um LLM como juiz.
4. A árvore genealógica dos generativos. Autoencoder → VAE → VQ-VAE → VQGAN → difusão latente → DiT. A difusão chega por uma raiz própria (2015), passando por modelos de score e pelo DDPM; o flow matching chega dos fluxos normalizadores, passando pelas EDOs neurais; os dois se encontram no SD3 e no FLUX. Os modelos autorregressivos de imagem seguem o outro galho do VQGAN, os tokens.
5. Prever representações em vez de pixels. CPC → SimCLR → BYOL → JEPA → I-JEPA → LeJEPA, enquanto os modelos de mundo descem do Dyna e do VAE, passando por PlaNet e Dreamer. As duas linhas se encontram no LeWorldModel e no TDWM.

O que o mapa deixa de fora

Um mapa com uma caixa por ideia precisa escolher. Hardware (GPUs, TPUs), datasets além do ImageNet e a maior parte da engenharia (precisão mista, treino distribuído, FlashAttention) ficaram de fora, assim como muitas invenções paralelas. O ano é o do artigo que apresentou a ideia, em geral a versão no arXiv; onde o curso cita outro ano, a caixa segue o curso.