20. Stable Diffusion

Os capítulos 16 a 19 montaram as peças. Neste capítulo elas viram um sistema que dá para rodar.

O Stable Diffusion⁴ não é uma ideia; são quatro, empilhadas. A pilha é o que fez a geração de imagens sair de uma demonstração de pesquisa que exigia um cluster para algo que roda num laptop:

1. Um processo de difusão que transforma geração numa longa sequência de problemas fáceis de remoção de ruído.
2. Um espaço latente, vindo de um VAE, para que essa sequência rode num espaço 48× menor que os pixels.
3. Um encoder de texto, vindo do CLIP, para que se possa dizer ao processo o que fazer.
4. Classifier-free guidance, para que ele de fato obedeça.

Os três primeiros aparecem na maioria das explicações. O quarto costuma ser pulado e é ele que transforma um modelo que tecnicamente se condiciona em texto num que obedece a um prompt.

Slides

Clique nos slides e use as setas ← → para navegar; F abre em tela cheia e P abre a visão do apresentador, com as notas. Os três simuladores desta página, além de três dos seus diagramas, rodam dentro dos slides. Abrir os slides numa aba nova

Modelos de Difusão

Modelos de difusão são treinados para prever um jeito de tirar um pouco de ruído de uma amostra a cada passo; depois de iterações suficientes, um resultado aparece. A ideia vem de 2015¹; desde então a mesma maquinaria já foi aplicada a imagens, fala, formas 3D, moléculas e grafos.

As duas cadeias percorrem os mesmos quadros. Avance passo a passo ou passe o mouse sobre um quadro para ver as suas setas; as equações das próximas seções são as que as legendas usam.

Difusão direta

Uma amostra \(x_0\) é corrompida com ruído gaussiano ao longo dos passos \(t = 1 \ldots T\):

onde \(\mathcal{N}(x;\, m,\, \Sigma)\) é a densidade gaussiana de \(x\) com média \(m\) e covariância \(\Sigma\), \(I\) é a identidade (ruído independente em cada pixel) e \(\beta_t\), um número pequeno que cresce com \(t\), é o cronograma de ruído. \(T = 1000\) no DDPM e no Stable Diffusion. Escrito assim parece um laço e seria inútil se fosse um. O passo que torna a difusão treinável é que a composição de todas aquelas gaussianas é ela própria gaussiana, de modo que qualquer nível de ruído é alcançado em forma fechada:

Sorteie um \(t\) aleatório, salte direto para lá e treine. Sem simular a cadeia, sem dependência sequencial entre exemplos de treino.

O objetivo de treino cabe numa linha

Dado isso, o que a rede deve prever? A resposta elegante e a que o DDPM² adotou: preveja o ruído que foi acrescentado.

É só isso. Um erro quadrático médio entre dois vetores, em que o alvo é uma amostra de ruído gaussiano que você mesmo sorteou. \(\epsilon_\theta\) é a rede (a U-Net), \(\theta\) são os seus pesos e \(c\) é o condicionamento (o texto, no Stable Diffusion); a média percorre imagens de treino \(x_0\), ruídos \(\epsilon\) e passos \(t\) sorteados uniformemente de 1 a \(T\). É regressão supervisionada comum, que é precisamente o que uma GAN (capítulo 18) não tem. É também a principal razão de a difusão tê-la deslocado: não há adversário, então o treino é estável e a perda é um sinal de progresso que significa alguma coisa.

Difusão reversa

Amostrar roda o processo de trás para frente:

\(\mu_\theta\) e \(\Sigma_\theta\) são a média e a covariância de cada passo para trás; o DDPM fixa a covariância em \(\beta_t I\) e só aprende a média. (O texto \(c\) fica fora de \(\mu_\theta\) e de \(\Sigma_\theta\) para encurtar a notação.) Não podemos usar o verdadeiro \(q(x_{t-1} \mid x_t)\) — ele depende da distribuição dos dados e é intratável. A rede o aproxima e a U-Net¹³ é a arquitetura usual porque remover ruído exige tanto detalhe fino quanto estrutura global, que é exatamente o que um encoder–decoder com conexões de atalho oferece.

A previsão do ruído é tudo de que um passo precisa. Inverter a forma fechada dá o palpite atual da rede para a amostra limpa e a média do DDPM dá um pequeno passo de \(x_t\) na direção dele:

Vale olhar para \(\hat x_0\): no começo da amostragem ele é uma média borrada de tudo o que o prompt permite e fica mais nítido passo a passo. O laboratório o decodifica a cada passo e o Diffusion Explainer mais abaixo mostra a mesma progressão.

Treino e amostragem, lado a lado

A mesma rede roda em dois laços de formatos bem diferentes. No treino, a cada passo: escolha um \(t\) aleatório para cada imagem, salte para aquele nível de ruído com a forma fechada acima, gere o embedding de \(t\) e regrida o ruído. Na amostragem: comece do ruído e chame a rede \(T\) vezes seguidas, cada chamada recebendo a saída da anterior.

O cronograma de ruído não é um detalhe

O \(\beta_t\) decide quanto sinal sobrevive em cada \(t\) e portanto no que o modelo gasta seu orçamento de treino. Dois bugs bem conhecidos moram nessa única função.

SNR terminal. O Stable Diffusion 1.x usa um cronograma linear escalado cujo \(\bar\alpha_T \approx 0{,}0047\) — não zero. O treino, portanto, sempre deixa um traço tênue da imagem real no último passo (\(\sqrt{\bar\alpha_T} \approx 0{,}068\) dela), enquanto a amostragem começa de ruído de verdade. O descompasso tem consequência famosa: o SD 1.x não consegue produzir uma imagem realmente preta ou realmente branca, porque o brilho médio do conjunto de treino vaza para o primeiro passo²³. Reescalar o cronograma para SNR terminal zero resolve.

Resolução. Um nível de ruído não significa a mesma coisa em 512 px e em 1024 px: mais pixels significa mais redundância, então o mesmo \(\bar\alpha\) destrói proporcionalmente menos informação. Reaproveitar um cronograma de 512 px em resolução maior ruidifica de menos, nunca se pede ao modelo que resolva a parte formadora de estrutura e a saída parece uma repetição ladrilhada de uma imagem menor. O SD3 torna a correção explícita como um deslocamento de timestep dependente da resolução²⁴.

Difusão latente: a ideia que a tornou acessível

Rodar difusão sobre \(512 \times 512 \times 3 = 786{.}432\) números significa uma passagem inteira da U-Net nessa resolução em cada um dos cinquenta passos — caro o bastante para que sistemas no espaço de pixels como o Imagen e o DALL·E 2 gerem em 64 × 64 e depois ampliem numa cascata. A difusão latente⁴ move o processo inteiro para o espaço latente de um VAE (o autoencoder do capítulo 17):

O fator 48 é \(8 \times 8\) (cada lado encolhe 8×) vezes \(3/4\) (três canais de cor viram quatro canais latentes). A divisão é o ponto: o autoencoder cuida do detalhe perceptual — textura, nitidez, altas frequências — e o modelo de difusão cuida de semântica e composição. Cada um faz a parte em que é bom e a parte cara roda no espaço pequeno.

O diagrama abaixo segue a figura do artigo de difusão latente⁴. Escolha um caminho para ver que partes o treino usa e que partes a geração usa.

Daqui em diante a difusão roda no latente, então a sua variável passa a se chamar \(z_t\) em vez de \(x_t\): \(z_0\) é a imagem codificada e \(z_T\) o ruído inicial. Tudo o que veio acima vale sem mudança.

Os três componentes:

• Encoder de texto — o CLIP (capítulo 19) transforma o prompt numa sequência de embeddings. Congelado.
• U-Net — remove ruído do latente, com camadas de atenção cruzada em que a query vem do latente e chave/valor dos embeddings de texto (capítulo 11). É o único lugar por onde o prompt entra e é exatamente a atenção cruzada de um decoder Transformer.
• VAE — codifica para latentes no treino, decodifica para pixels no fim da amostragem. Congelado.

Marcos

Onze anos em três faixas: os métodos, os modelos construídos com eles e as ferramentas que cresceram em volta dos modelos. Clique num nome para abrir o artigo ou o lançamento.

O pipeline, de ponta a ponta

Uma imagem do SD 1.5 em 512 × 512 com 25 passos, etapa por etapa. O último passo mostra o caminho que o treino segue no lugar dela. A cor de cada caixa diz em que espaço ela trabalha; laranja marca o treino.

Uma imagem, em formatos

O mesmo caminho, com o tensor que sai de cada etapa, para o SD 1.5 em 512 × 512 e 25 passos de amostragem. As contagens de parâmetros são as que o laboratório imprime.

Quase toda a computação está numa linha: 25 passos × 2 passagens = 50 avaliações da U-Net por imagem, contra uma passagem do encoder de texto e uma do decoder. É por isso que as alavancas que tornam a geração rápida — menos passos, destilação, um modelo sem guidance — agem todas sobre a linha da U-Net.

Uma imagem, em números

O mesmo laço, linha a linha, com todos os números na tela. O latente tem 4 números em vez de 16.384 e a U-Net é de brinquedo, com uma previsão de ruído exata (os latentes de cada legenda são uma gaussiana), então cada valor pode ser conferido à mão; o cronograma, os timesteps e o passo do DDIM são os do SD 1.5. A linha do guidance é o assunto da próxima seção.

Classifier-free guidance: a parte que o faz obedecer

Um modelo treinado com pares (imagem, legenda) se condiciona em texto e se você amostrar dele honestamente a aderência ao prompt é decepcionante. Todo sistema texto-para-imagem que você já usou, portanto, faz algo que não é amostrar da própria distribuição.

Treine o modelo com a legenda descartada 10% das vezes, de modo que uma única rede aprenda tanto a previsão de ruído condicional \(\epsilon_\theta(x_t, c)\) quanto a incondicional \(\epsilon_\theta(x_t, \varnothing)\) (o passo \(t\) fica implícito nesta seção). Depois, a cada passo de amostragem, avalie os dois e extrapole além do condicional²⁵:

Com \(w = 0\) você tem o modelo incondicional. Com \(w = 1\), amostragem condicional pura. Além disso você está amplificando a direção para a qual o prompt aponta — o que não é amostrar de nenhuma distribuição que o modelo aprendeu e funciona mesmo assim. No Stable Diffusion, o "sem prompt" \(\varnothing\) é o embedding da string vazia, não um vetor de zeros. O guidance_scale dos pipelines usuais (7,5 por padrão) é este \(w\).

O painel amostra uma distribuição de brinquedo (oito aglomerados num anel, três dos quais o "prompt" pede) com scores exatos (o score é o gradiente do log da densidade, a previsão de ruído a menos de uma escala: veja a SDE mais abaixo), escritos na forma de velocidade do capítulo 21; o guidance combina as duas previsões com a mesma linha. Ele varre o \(w\) e mede as três coisas que se contrapõem. Com 32 passos, a aderência ao prompt já é de 99% em \(w = 1\), porque o condicional deste brinquedo é exato; um condicional aprendido não é e essa diferença é o que os pipelines reais pagam \(w > 1\) para fechar. A diversidade cai monotonicamente já a partir do primeiro passo além de 1: a dispersão dentro do modo (a distância média de uma amostra ao centro do seu aglomerado, em unidades de σ, o desvio padrão de um aglomerado) vai de 1,03σ em \(w = 1\) para 0,76σ em \(w = 3\) e 0,63σ em \(w = 7{,}5\). A fração fora da variedade, de 1% em \(w = 3\), sobe para 17% em \(w = 10\) e 63% em \(w = 15\) — o que, numa imagem real, é aquele visual saturado, queimado e de alto contraste que todo mundo reconhece numa escala de guidance de 20.

Vá e experimente: Diffusion Explainer

O Diffusion Explainer¹⁵ é uma visualização interativa deste pipeline, feita para o ensino pelo Polo Club da Georgia Tech. Ele não gera nada enquanto você olha: as imagens foram calculadas de antemão para um conjunto de prompts prontos, cada um com uma variante, em algumas sementes e escalas de guidance. É isso que o torna instantâneo e também o seu limite — você não pode digitar o seu próprio prompt; o laboratório existe para isso. Reserve quinze minutos.

1. Associe as caixas dele a este capítulo. A ferramenta nomeia três etapas. Antes de abri-las, associe cada uma a um componente da difusão latente:

   Diffusion Explainer	Este capítulo	Saída (SD 1.x)
   Text Representation Generator	tokenizador + encoder de texto do CLIP	\(77 \times 768\)
   Image Representation Refiner	U-Net + agendador, repetidos ao longo dos timesteps, no espaço latente	\(4 \times 64 \times 64\)
   Image Upscaler	decoder do VAE	\(3 \times 512 \times 512\)

   Expanda a primeira e encontre o número 77: o que acontece com um prompt mais curto que isso e o que aconteceria com um mais longo? Expanda a segunda e encontre as duas previsões de ruído que ela combina — é a linha do guidance da seção anterior.

2. Arraste o controle de timestep. Ele percorre os 50 passos da amostragem. Antes de apertar play, preveja: o que se define primeiro, o layout ou a textura? Depois encontre o primeiro passo em que você consegue dizer o que é o objeto e o passo a partir do qual só o detalhe muda. As imagens que ele mostra a cada passo são uma projeção linear barata do latente de 4 canais para cor, não uma passagem do decoder do VAE; o laboratório mede até onde um mapa linear chega.

3. Mude a escala de guidance. Ele oferece 0, 1, 7 e 20. Preveja cada uma pela fórmula antes de clicar: 0 é o modelo incondicional — que parte do prompt sobrevive? —, 1 é amostragem condicional pura, 7 está perto do padrão usual e 20 está muito além dele. Onde você vê a aderência do painel de guidance acima e onde vê o visual fora da variedade?

4. Mude a semente. A semente fixa o ruído inicial \(z_T\) e nada mais. Quais caixas do diagrama mudam e quais continuam iguais (olhe a representação do texto)? Uma semente nova muda o assunto ou a composição?

5. Compare dois prompts que diferem por um modificador. Use o modo de comparação com um par pronto cujos prompts diferem por uma única expressão (um estilo ou um adjetivo, por exemplo) e mantenha fixas a semente e o guidance. Em que timestep as duas imagens começam a diferir e quanto da composição sobrevive até o fim? Explique com o pipeline: o ruído inicial é idêntico e o prompt só entra pela atenção cruzada.

O que ele deixa de fora também ensina: o número de passos, o agendador e a resolução são fixos e o treino não aparece — ele mostra só o caminho da inferência.

Samplers: o mesmo modelo, de cinco a cinquenta passos

O treino te dá \(\epsilon_\theta\). Transformá-lo numa imagem é um problema numérico separado: integrar uma ODE ou SDE reversa e o solver é escolha sua. É por isso que o mesmo checkpoint roda com 50 passos ou com 20 quase sem diferença visível.

Destilação: de cinquenta passos para um

Uma linha de trabalho separada comprime a trajetória de amostragem para dentro dos pesos.

Repare no que a linha do ADD implica: a GAN, deslocada como geradora, voltou como aquilo que torna a difusão de tempo real possível (o StreamDiffusion³¹ monta um pipeline interativo sobre modelos assim). E repare no custo honesto — modelos de poucos passos trocam diversidade por velocidade, o que você percebe na hora se amostrar o mesmo prompt vinte vezes.

Controle: tudo que você de fato faz com isso

Texto é uma interface ruim para "coloque o sujeito aqui, nesta pose". Cinco mecanismos cobrem quase todo fluxo real:

O que mudou depois do SD 1.5

O gráfico de marcos acima diz quando; não diz o que mudou. Eis o que cada geração de fato mudou, o que é mais útil que os números de versão:

Quatro temas e nenhum deles é "mais parâmetros":

1. A U-Net virou Transformer. Escala melhor e é uma arquitetura compartilhada com todo o resto do curso.
2. Codificação de texto melhor. T5 ao lado do CLIP, porque a torre de texto do CLIP é pequena e se comporta como saco de palavras (capítulo 19) — uma das razões pelas quais o SD 1.5 não escrevia nem lidava com prompts longos e composicionais.
3. Um latente mais rico. 4 → 16 canais: menos perdido na compressão. Junto com o T5, é daí que veio texto legível em imagens geradas.
4. A difusão virou flow matching. Caminhos mais retos, menos passos, objetivo mais simples. É o próximo capítulo.

Laboratório: o Stable Diffusion, aberto

O pipeline desta página é desmontado num notebook no Colab que roda o Stable Diffusion 1.5 com o diffusers da Hugging Face¹⁰, um componente por vez. Ele precisa de GPU: no Colab, Ambiente de execução → Alterar o tipo de ambiente de execução → GPU T4 (o nível gratuito basta; as primeiras células baixam uns 2 GB de pesos e a execução de referência de todas as células levou 11 minutos na GPU de um notebook Apple M2, mais lenta que uma T4). São oito seções, cada uma terminando num checkpoint com valor de verificação:

1. os três componentes e as suas contagens de parâmetros;
2. a ida e volta pelo VAE: a compressão de 48× (medida) e até onde chega um mapa linear do latente para cor;
3. o encoder de texto: 77 tokens, uma matriz \(77 \times 768\) e a cara do prompt vazio;
4. o processo direto num latente e o SNR terminal do SD 1.5, lido no agendador;
5. o laço de remoção de ruído escrito por extenso — agendador, duas chamadas da U-Net e a linha do guidance — conferido contra o pipeline da biblioteca, com \(\hat x_0\) decodificado a cada passo;
6. escala de guidance e semente, medidas: aderência ao prompt, saturação e diversidade;
7. passos e destilação: o mesmo modelo de 1 a 25 passos e o mesmo modelo com um LCM-LoRA em 4;
8. img2img escrito à mão, com uma tabela para preencher.

Abrir o laboratório no Colab — salve uma cópia no seu Drive (Arquivo → Salvar uma cópia no Drive) para rodar e editar.

Para além do laboratório: o Diffusion Course da Hugging Face¹¹ vai mais longe com o diffusers; tutoriais mais curtos rodam o SD em Python⁹, chamam o SD3 pela API¹⁷ e passam pelas versões do SD¹⁸. Explicações ilustradas do DDPM¹²⁸, da U-Net¹⁴ e do Stable Diffusion⁶ cobrem o mesmo terreno com outras figuras.

Pontos principais

1. A difusão transforma geração em muitos problemas fáceis de remoção de ruído e a forma fechada \(x_t = \sqrt{\bar\alpha_t}x_0 + \sqrt{1-\bar\alpha_t}\epsilon\) é o que torna o treino paralelo.
2. A perda é um erro quadrático comum contra um ruído que você mesmo sorteou. Sem adversário, com treino estável: a principal razão pela qual a difusão bateu as GANs.
3. O cronograma de ruído decide o que o modelo aprende. SNR terminal não nulo é por que o SD 1.x não renderiza preto; a resolução muda o significado de um nível de ruído, daí o deslocamento de timestep.
4. A difusão latente roda o processo num espaço 48× menor. O VAE cuida do detalhe, o modelo de difusão cuida da semântica.
5. O classifier-free guidance é uma linha, dobra o custo de inferência e é o que faz o modelo obedecer ao prompt. Ele troca diversidade por aderência e em excesso empurra as amostras para fora da variedade.
6. O sampler é uma escolha separada do modelo. DPM-Solver++ com 15–25 passos é o padrão prático; abaixo de ~10 passos você precisa de destilação, não de um solver melhor.
7. A destilação chega a 1–4 passos e um dos métodos vencedores usa uma perda adversarial — a GAN voltando como componente.
8. ControlNet, IP-Adapter e LoRA congelam a base e acrescentam um pequeno caminho ao lado dela. É por isso que eles compõem.
9. Desde o SD 1.5: backbone Transformer, encoders de texto melhores, latentes de 16 canais, fluxo retificado. Não "maior".

Adicional

DDPM vs DDIM

SDE

Song et al.⁷ levam o número de passos ao infinito. A cadeia direta vira uma equação diferencial estocástica (SDE) em tempo contínuo \(t \in [0, T]\): \(f(x, t)\) é uma deriva, \(g(t)\) dá a escala do ruído e \(dw\) é um incremento de movimento browniano, a versão contínua de acrescentar um pouco de ruído gaussiano. Chame de \(p_t\) a densidade dos dados ruidosos no instante \(t\). Toda SDE direta tem uma reversa, que vai do ruído de volta aos dados (\(\bar w\) é um movimento browniano que corre para trás no tempo). A única incógnita dela é o score \(\nabla_x \log p_t(x)\), a direção em que \(p_t\) cresce mais rápido. Uma rede treinada como no DDPM o fornece, porque a previsão de ruído é o score a menos de uma escala:

O amostrador do DDPM é uma discretização da SDE reversa. O DDIM é uma discretização da sua gêmea determinística, a ODE de fluxo de probabilidade \(dx = \big[f(x, t) - \tfrac12 g(t)^2 \nabla_x \log p_t(x)\big]\,dt\), que não tem termo de ruído e chega às mesmas distribuições \(p_t\).

Arquitetura U-Net

A U-Net é uma arquitetura de rede neural convolucional projetada originalmente para segmentar imagens biomédicas¹³. Desde então ela foi amplamente adotada em geração de imagens, inclusive em modelos de difusão como o Stable Diffusion. Seu formato é um U: um encoder (o caminho de contração) divide a resolução por dois e acrescenta canais a cada nível, um decoder (o caminho de expansão) o espelha e conexões de atalho levam cada nível do encoder até o nível do decoder de mesma resolução, de modo que o detalhe fino perdido na descida está disponível na subida. A versão do Stable Diffusion acrescenta o timestep e o texto.

Abaixo, a U-Net do Stable Diffusion 1.5, bloco a bloco. Cada "Transformer" é autoatenção, depois atenção cruzada ao texto, depois uma camada feed-forward. O embedding do timestep é somado dentro de todo ResBlock. Canais e resolução são os da configuração do diffusers que o laboratório carrega. Um bloco de subida tem três ResBlocks, um para cada tensor de atalho que chega na sua resolução.

Vídeos