Modelos Generativos

Uma pergunta

• Escrever ? Sobre um milhão de pixels, não — e só a constante que faz somar 1 sobre todas as imagens possíveis já é intratável.
• Então toda família faz o mesmo movimento: cortar o problema difícil de amostragem numa sequência de problemas fáceis.
• Elas diferem apenas em onde cortam. Essa escolha decide estabilidade de treino, qualidade das amostras, se há verossimilhança e quantas passagens custa uma imagem.

Quatro formas de cortar o problema

Duas dessas linhas estão aposentadas como métodos de manchete. Duas movem o mundo.

Densidade explícita ou implícita

• Explícito: sim, ou um limite dela — autorregressivo (exata), VAE (limite), difusão e fluxos (pela ODE).
• Implícito: não — a GAN só amostra. Entra ruído, sai imagem; nenhuma densidade em lugar nenhum.
• Consequência: uma verossimilhança em dados separados só existe para o primeiro grupo. Para uma GAN, as amostras são a única evidência.

Três formas de treinar

• Por verossimilhança — maximizar ou o limite dela: autorregressivo, VAE.
• Adversarial — um crítico ocupa o lugar da verossimilhança: GAN.
• Regressão sobre um score ou uma velocidade — difusão e flow matching. Não precisa de densidade normalizada nem de crítico.

A conta do autorregressivo

= número de dimensões (pixels × canais); um fator por dimensão.

• passagens sequenciais (cada fator espera o anterior) — para uma imagem pequena.
• Por isso modelos autorregressivos de imagem primeiro comprimem a imagem em tokens: uma 512 × 512, reduzida 16× por lado, vira 1 024 tokens (veja a aula de geração autorregressiva).
• A conta é o número de dimensões. Ela não quer saber se a imagem é simples.

A conta da difusão

• Sorteie um ruído ; siga um campo de velocidade aprendido de (ruído) a (dados).
• Com passos de Euler, cada passo é : uma passagem da rede. Você escolhe depois do treino, na inferência.
• Poucos passos: rápido e errado. Muitos passos: lento e certo. A conta é o número de passos.

O que o painel mede

Fora dos dados = a mais de de todo modo (: o desvio-padrão de cada gaussiana). Em 2-D, : uma amostra perfeita já mostra .

• Depois de ~32 passos você está pagando por nada: 1% é o piso de uma amostra perfeita, medido em 600 pontos por painel.
• O corretor (Langevin: um passo pequeno a favor do score, mais ruído) custa uma avaliação do score por passo, menos no último: .
• O corretor ajuda com 8–16 passos, onde o erro de integração é grande; com 128 não sobra nada a corrigir.

Por que um passo cai no meio

O caminho do ruído a um modo é curvo; um passo reto não o segue. No diagrama, o campo exato do anel e o mesmo z integrado com 1, 4 e 128 passos: com 4 ele ainda para entre dois modos.

O outro eixo: a falha

Ajustar = minimizar uma divergência. tira a média sob o primeiro argumento — e por isso não é simétrica:

KL para frente: cobrir tudo, borrar

• Punida onde quer que os dados tenham massa e o modelo não.
• O ótimo dela cobre todos os modos — inclusive o vale vazio entre eles.
• Isto é máxima verossimilhança: . É o que VAEs e modelos autorregressivos otimizam.

No laboratório: uma gaussiana ajustada por máxima verossimilhança ao anel deixa 78,7% das amostras fora dos dados (a mais de ) — e ainda toca os 8 modos (cada um recebe ≥ 1% das amostras).

KL reversa: escolher um modo, abandonar o resto

• Punida só onde o modelo põe massa; indiferente a dados que ele nunca visita.
• O ótimo dela escolhe um modo: toda amostra plausível, uma parte inteira da distribuição sumida.
• Isso é colapso de modos — enunciado como propriedade de um objetivo, não como acidente de treino.

No laboratório: a gaussiana da KL reversa cai em 1 de 8 modos, na largura dos próprios dados (). KL : sobre o modo escolhido , então . Quatro pontos de partida, quatro modos diferentes.

Diga uma vez, use sete vezes

• Todo modelo deste módulo se posiciona em algum ponto dela.
• Saber onde diz como serão as amostras antes de rodar o modelo.
• A saída não é uma direção melhor da KL: é um modelo expressivo o bastante para não precisar escolher.

O trilema

Durante boa parte dos anos 2010: qualidade, cobertura, velocidade — escolha duas.

Xiao, Kreis & Vahdat (2022), Tackling the Generative Learning Trilemma with Denoising Diffusion GANs, ICLR.

Velocidade é a que dá para recomprar

• Qualidade e cobertura são decididas no treino — são o que o modelo aprendeu.
• O número de passos de amostragem é decidido na inferência.
• Então a difusão escolheu o canto em que a propriedade ausente era recuperável — e depois a recuperou:
• solvers melhores → fluxos retificados → destilação para um punhado de passos → para um.
• As contagens de passos caíram de 1000 (o DDPM, 2020) para menos de 10.

As sete aulas e para que serve cada uma

Uma história de gargalos

48× = (512 · 512 · 3) / (64 · 64 · 4) = 786 432 / 16 384: os pixels de uma imagem 512 × 512 contra o latente do Stable Diffusion (aula de VAE).

Duas coisas que este curso vai repetir

Medido no laboratório · densidades explícitas

Oito gaussianas num anel de raio 2, . NLL = média de nos pontos de teste, em nats (menor é melhor); a densidade verdadeira marca 1,476.

• Uma NLL de treino abaixo da verdade é memorização: cada ponto é avaliado pelo próprio kernel.
• Só a verossimilhança em dados separados é evidência.

GMM k: mistura de k gaussianas · kernel: uma gaussiana de largura h em cada ponto de treino · modos: quantos recebem ≥ 1% das amostras

nat: a unidade de um log natural (base e) · 1 nat ≈ 1,44 bit · todo log deste deck é natural, então NLL e KL saem em nats

Medido no laboratório · um modelo por família

Passagens: avaliações sequenciais da rede por amostra (o autorregressivo paga 2 porque o dado tem d = 2 dimensões; B = 64 células por coordenada) · —: a GAN não tem verossimilhança · vazio: não medido. As amostras da GAN fora dos dados são pontes entre os modos: um gerador contínuo sobre um ruído conexo não faz oito ilhas separadas. A NLL do fluxo vem pela ODE (100 passos × 3 passagens por ponto).

Laboratório · o mapa, medido

Notebook no Colab, ~2 h, dados sintéticos 2-D, CPU. Cada seção termina num checkpoint com valor de verificação.

abrir no Colab →

Para levar

1. Todo modelo generativo corta um problema intratável de amostragem em pedaços tratáveis; o corte decide custo, estabilidade e verossimilhança.
2. Modelos explícitos dão ou um limite; a GAN é implícita e só amostra.
3. O custo autorregressivo escala com dimensões; o da difusão com passos — um botão ajustado na inferência.
4. A KL é assimétrica: para frente cobre e borra, reversa procura um modo e colapsa.
5. O trilema quebrou onde a propriedade ausente podia ser recomprada: a velocidade.
6. VAEs e GANs seguem vivos como componentes. Avaliação e proveniência fazem parte do trabalho.