21. Flow Matching

A difusão funciona e é um jeito estranho de ter chegado a algo que funciona. Há uma equação diferencial estocástica, um limite variacional, um cronograma de ruído com nome próprio, uma cadeia discreta de mil passos e três parametrizações intercambiáveis. O método não é complicado — a dedução é.

O flow matching¹ chega ao mesmo lugar pela outra direção e a montagem cabe em três linhas. Sorteie uma amostra de ruído e uma de dados. Trace a reta entre elas. Treine uma rede para prever a direção do deslocamento num ponto aleatório dessa reta. É o método inteiro.

Aqui \(x_0 \sim \mathcal{N}(0, I)\) é o ruído, \(x_1\) uma amostra dos dados, \(t\) um instante sorteado de forma uniforme em \([0, 1]\) e \(v_\theta\) a rede, com pesos \(\theta\). CFM quer dizer conditional flow matching (flow matching condicional), porque o alvo \(x_1 - x_0\) é o de um par sorteado. O tempo vai do ruído (\(t = 0\)) aos dados (\(t = 1\)), o contrário do capítulo 20.

Sem cronograma, sem limite, sem cadeia. E — esta é a parte que vale deixar clara — não é uma família diferente de modelo. Difusão é flow matching com um interpolante curvo. Assim que você vê isso, o capítulo 20 e este se fundem numa ideia só.

Também não é uma curiosidade histórica. Desde 2024, quase todo gerador aberto de imagem e de vídeo cujo objetivo de treino é publicado — Stable Diffusion 3, FLUX, Wan, HunyuanVideo, Qwen-Image — treina exatamente com essa perda. Modelos de fala e as cabeças de ação de políticas de robôs também. Onde é usado tem a lista, com datas.

Slides

Clique nos slides e use as setas ← → para navegar; F abre em tela cheia e P abre a visão do apresentador, com as notas. Os três simuladores desta página e três dos diagramas dela rodam dentro dos slides. Abrir os slides numa aba nova

Movendo partículas

Você tem partículas distribuídas como \(p_0 = \mathcal{N}(0, I)\). Você as quer distribuídas como seus dados, \(p_1\), no tempo \(t = 1\). Aprenda um campo de velocidade \(v_\theta(x, t)\) que diga para onde cada partícula deve se mover em cada instante e integre.

O painel tem as duas imagens que este capítulo vai comparar o tempo todo. Pares de treino é o que a perda acima vê: cada amostra de ruído ligada por uma reta a um ponto de dados sorteado de forma independente. O fluxo aprendido é aquilo para onde converge uma rede treinada nessas retas, calculado aqui de forma exata (os dados são uma mistura de gaussianas pequenas, então nada precisa ser treinado). Anime os dois.

Há um problema óbvio em treinar isso e é aquele em que a área toda estava travada. O campo de velocidade de que você precisa é um marginal: na posição \(x\) e no tempo \(t\), ele precisa fazer média sobre todo ponto de dados que plausivelmente poderia ter produzido \(x\),

Você não consegue calcular isso para dados reais. Você nem consegue escrever.

O teorema fica mais fácil de ver num ponto só. Com dois pontos de dados, exatamente duas retas de treino passam por cada \((x, t)\) e dá para calcular tudo à mão:

Duas consequências aparecem no painel das partículas e merecem ser ditas, porque as duas surpreendem na primeira vez:

• A perda de treino não vai a zero. Muitos pares passam perto do mesmo \((x, t)\) com direções diferentes; a rede só consegue devolver a média deles e a dispersão em torno dela é um piso. No alvo de oito gaussianas do laboratório o piso é 3,73 (calculado de forma exata) e a rede treinada termina em 3,76, poucos centésimos acima dele. Uma perda de 3,76 aqui é um modelo que convergiu, não um que falhou.
• Os caminhos aprendidos não podem se cruzar. Uma ODE tem uma velocidade por ponto e instante, então duas partículas nunca se encontram. O fluxo, portanto, repareia ruído e dados: cada partícula chega aos dados, mas não ao ponto com que foi pareada no treino. No painel, os pares de treino percorrem 1,23 em média e o fluxo 0,51.

Os mesmos dois fatos no código do laboratório: um passo de treinar_2d em três pares em 2-D, depois a amostragem de Euler a partir do ruído do par 1. A rede é trocada pelo campo para o qual ela converge, exato aqui porque os dados são dois pontos, \(A = (2, 0)\) e \(B = (-2, 0)\). O par 1 liga o ruído \((1, 1)\) a \(B\): com a rede já ideal, ele responde pela perda inteira; depois o fluxo leva esse ruído a \(A\). Mude \(t\), o número de passos de Euler ou o caso:

A difusão é um caso particular

Tome um par qualquer de funções \(a(t)\), \(b(t)\) e defina o interpolante⁸

Todo método deste módulo é uma escolha de \(a\) e \(b\):

Aqui \(\bar\alpha_t\) é o cronograma de ruído do capítulo 20 lido de trás para frente: vai de 0 no ruído a 1 nos dados. Com o cronograma cosseno ele é \(\bar\alpha_t = \operatorname{sen}^2(\pi t/2)\), então \(a = \operatorname{sen}(\pi t/2)\) e \(b = \cos(\pi t/2)\). OT é optimal transport (transporte ótimo), o nome que Lipman et al. dão ao caminho reto. Um par sob os dois interpolantes (escolha \(t\)):

A velocidade condicional é \(a'(t)x_1 + b'(t)x_0\) em todos os casos e a marginal é a esperança condicional dela. Um framework, uma perda, um código. Com um \(p_0\) gaussiano as duas visões são exatamente intercambiáveis: um modelo treinado de um jeito pode ser amostrado do outro. No caminho linear, o sampler determinístico DDIM é o passo de Euler do fluxo⁹ (nos outros cronogramas, é um passo de Euler em variáveis reescaladas). As diferenças restantes são a ponderação da perda ao longo de \(t\) e o formato da trajetória — que é o que o próximo painel mede.

O que "caminhos mais retos" de fato significa

A afirmação padrão é que o flow matching dá trajetórias retas e por isso precisa de menos passos de integração. É meio verdade e a metade que é falsa vale conhecer.

Tudo naquele painel é exato — o alvo é uma mistura de gaussianas, então as velocidades marginais dos dois interpolantes têm forma fechada e nada é treinado. Compare os dois e:

• O caminho condicional — a reta entre uma amostra de ruído e uma de dados — é reto por construção com o interpolante linear.
• O caminho marginal, que é o que o modelo de fato aprende, não é. Ele precisa fazer média sobre todo ponto de dados compatível com a posição atual e ruído e dados acoplados de forma independente se cruzam o tempo todo. Neste alvo, os caminhos do interpolante linear saem mais curvos que os de difusão: 111% mais longos que a reta contra 58%.
• Nenhum interpolante vence em todo número de passos (com 2 passos o erro do ponto final da difusão é menor; com 8, o do linear) e passados uns 32 passos os dois ficam abaixo de qualquer coisa que se veja. O argumento inteiro é sobre o regime de poucos passos.

Em imagens reais os resultados divergem e a ponderação da perda ao longo de \(t\) importa tanto quanto o caminho. Lipman et al. contaram as avaliações de que um solver adaptativo precisa: 122–142 com o caminho linear contra 183–193 com o caminho de difusão na mesma arquitetura, no CIFAR-10 e no ImageNet 32 e 64¹ — de 22 a 37% a menos, não uma ordem de grandeza. Esser et al. treinaram 61 formulações para o Stable Diffusion 3: as variantes de fluxo retificado foram as melhores ao amostrar com poucos passos, mas com \(t\) uniforme o fluxo retificado ficou abaixo da clássica predição de \(\epsilon\) no geral e só com a amostragem logit-normal de timesteps (abaixo) ele ficou em primeiro⁷. O laboratório treina os dois caminhos no MNIST com \(t\) uniforme e o mesmo orçamento: o caminho cosseno da difusão vence em todo número de passos (FD 94,0 contra 133 com 8 passos de Euler). O FD é a receita do FID, a distância de Fréchet entre os atributos que uma rede extrai de imagens geradas e de imagens reais, com um classificador de dígitos no lugar da rede Inception; menor é melhor.

Fluxo retificado: endireitar de propósito

Se os caminhos não são retos, endireite-os³. O reflow são dois passos:

1. Sorteie ruído \(z\), integre a ODE treinada com precisão, obtenha \(x = \text{ODE}(z)\).
2. Retreine o modelo nos pares \((z, x)\) que ele mesmo produziu, na reta entre eles.

A distribuição marginal de \(x\) não muda — você não está alterando o que o modelo gera, apenas qual ruído é pareado com qual saída. E o novo pareamento é um que o modelo consegue realizar quase com retas: os caminhos do fluxo não se encontram, então as retas entre seus pontos finais raramente se cruzam. Uma reta é integrada exatamente por um passo de Euler. Os mesmos passos com seis amostras de ruído e os dois pontos de dados de antes:

Marque depois de um reflow ideal no painel de caminhos acima: a curvatura (quanto os caminhos são mais longos que a reta entre as pontas deles) e o erro vão a zero em qualquer número de passos. Esse é o limite, um modelo que aprendeu as novas retas de forma exata. Um reflow treinado chega perto: nas oito gaussianas do laboratório ele derruba a curvatura de 88% para 0,1% e faz um passo valer mais que 8 do modelo original; no MNIST, um passo vai de FD 2255 para 201. Mas não sai de graça. Cada rodada precisa de um conjunto grande de pares gerados com a ODE completa, os erros do primeiro modelo ficam gravados neles e, em imagens, um reflow deixou uma diferença visível até a receita de treino ser refeita (o fluxo 2-retificado no CIFAR-10 foi de um FID de um passo de 12,21 para 3,07 com uma inicialização, uma amostragem de timesteps e uma perda melhores)¹¹. O InstaFlow rodou reflow mais destilação no Stable Diffusion para texto-imagem em um passo, em 2023¹².

Menos passos: de velocidades a saltos

O reflow endireita o campo para que uma integração curta seja precisa. A outra linha de trabalho para de integrar: treina a rede para prever onde a trajetória termina depois de um salto de qualquer tamanho, um mapa de fluxo \(X_{s \to t}(x)\): o ponto, no instante \(t\), da trajetória que passa por \(x\) no instante \(s\)¹⁴. A velocidade instantânea é o limite de um salto de comprimento zero e um sampler de um passo é o salto de 0 a 1.

Os métodos de pesquisa (os três primeiros) treinam modelos de um passo do zero no ImageNet; o que chega aos produtos em 2026 ainda é, na maior parte, destilação de um modelo de flow matching de muitos passos, adversarial ou por casamento de distribuições. Os dois partem do campo que este capítulo treina.

Escolhas de treino que importam

A perda é uma linha, mas três escolhas em volta dela mudaram entre os primeiros artigos e os modelos atuais. Você vai encontrar as três em qualquer código recente:

• Onde em \(t\) treinar. Um \(t\) uniforme desperdiça esforço perto das pontas, onde o alvo é fácil. O SD3 sorteia \(t\) de uma logit-normal, concentrada no meio⁷; o HunyuanVideo faz o mesmo. As políticas de robôs π0 e GR00T usam uma distribuição Beta que favorece a ponta ruidosa¹⁷.
• Deslocar com a resolução. Com mais pixels ou tokens, um mesmo nível de ruído esconde menos da imagem, então imagens grandes e vídeos deslocam os timesteps para o lado do ruído, por um fator que cresce com o número de tokens (SD3, LTX-Video). É o deslocamento de timestep do painel de SNR do capítulo 20.
• O que a rede devolve. Velocidade é o padrão, mas a rede pode prever \(x_1\) (o dado limpo) ou o ruído, todos conversíveis dado \(t\). Li e He argumentam que prever o dado limpo diretamente é o que deixa um Transformer simples gerar no espaço de pixels com patches grandes¹⁸ — um resultado de 2025 que reabriu uma escolha que todos davam por resolvida.

Onde é usado

Flow matching não é mais uma alternativa de nicho. Onde o objetivo de treino é publicado, a geração atual de modelos generativos o usa — mas não em toda parte. Alguns dos sistemas mais conhecidos nem dizem o que usam.

Duas coisas nessa tabela merecem uma segunda olhada. Na robótica, o flow matching venceu por um motivo que não é qualidade de imagem: o π0 precisa de uns 10 passos de Euler para um bloco de 50 ações, rápido o bastante para controle a até 50 Hz. Ele também consegue representar uma distribuição de ações com vários modos, onde uma cabeça de regressão faria a média deles numa ação que não corresponde a nenhum¹⁷. No vídeo, o pipeline é o mesmo das imagens — só o latente ganha um eixo de tempo.

O que não é flow matching ensina tanto quanto: o AlphaFold 3 usa um módulo de difusão padrão; o CogVideoX treina com difusão de predição \(\mathbf{v}\); o Stable Audio Open com o objetivo \(\mathbf{v}\); Sora e Veo 3 são descritos por quem os fez como modelos de difusão, sem que o objetivo seja revelado. Dada a equivalência acima a fronteira é fina e o rótulo importa menos que o interpolante, o alvo e a ponderação dos timesteps.

O FLUX.1-dev em 1024 × 1024, com o formato do que passa entre as partes. O campo de velocidades deste capítulo é a caixa do meio, agora condicionado também ao texto, \(c\); tudo em volta dela é a estrutura da difusão latente do capítulo 20 e o Transformer em si é o capítulo 22. O FLUX.2 mantém o esquema com um Transformer de 32B e troca os dois encoders de texto por um modelo de visão e linguagem de 24B¹⁹.

Amostragem

O treino te dá um campo de velocidade. Transformá-lo numa amostra é integração de ODE e o solver é escolha sua — a mesma separação do capítulo 20.

import torch

@torch.no_grad()
def sample_euler(model, shape, n_steps=25, device='cuda'):
    """Primeira ordem. Uma avaliação do modelo por passo."""
    x = torch.randn(shape, device=device)             # x em t = 0 é ruído puro
    dt = 1.0 / n_steps
    for i in range(n_steps):
        t = torch.full((shape[0],), i * dt, device=device)
        x = x + dt * model(x, t)
    return x

@torch.no_grad()
def sample_heun(model, shape, n_steps=15, device='cuda'):
    """Segunda ordem: duas avaliações por passo, mas muito menos erro por passo."""
    x = torch.randn(shape, device=device)
    dt = 1.0 / n_steps
    for i in range(n_steps):
        t  = torch.full((shape[0],), i * dt, device=device)
        t2 = torch.full((shape[0],), (i + 1) * dt, device=device)
        v1 = model(x, t)
        v2 = model(x + dt * v1, t2)                   # preditor, depois correção
        x = x + dt * (v1 + v2) / 2
    return x

Conte avaliações do modelo, não passos: Heun com 8 passos custa o mesmo que Euler com 16. No modelo de MNIST do laboratório o Heun perde com poucas avaliações (FD 550 contra 226 do Euler com 4) e vence de 16 em diante (89,7 contra 99,3): um passo de segunda ordem precisa de passos pequenos o bastante para que a correção dele acerte.

Laboratório: flow matching do zero

As afirmações do capítulo são medidas num notebook do Colab que treina modelos de flow matching de ponta a ponta, primeiro em duas dimensões, onde o campo exato é conhecido, depois no MNIST. Roda no plano gratuito: CPU basta para as seções 1–5 e as seções do MNIST pedem uma GPU T4 (Ambiente de execução → Alterar o tipo de ambiente de execução → GPU T4); a execução de referência de todas as células levou de 15 a 25 minutos numa GPU de notebook da Apple dividida com outros processos, mais lenta que uma T4. Oito seções, cada uma terminando num checkpoint com um valor de verificação:

1. o campo marginal exato de uma mistura 2-D e o piso da perda, calculados;
2. um MLP de velocidade treinado até esse piso e a distância dele até o campo exato;
3. amostragem: erro do ponto final e distância aos dados contra o número de passos, Euler contra Heun a custo igual e a curvatura dos caminhos aprendidos;
4. o interpolante de difusão com o mesmo código e qual dos dois é mais reto;
5. uma rodada de reflow e o que ela faz com a curvatura e com amostras de um passo;
6. MNIST: uma U-Net pequena treinada com a mesma perda, avaliada por uma distância de Fréchet;
7. um passo cai no dígito médio; Heun e o interpolante de difusão em imagens;
8. reflow no MNIST e uma tarefa aberta: timesteps logit-normais, com uma tabela para preencher.

Abrir o laboratório no Colab — salve uma cópia no seu Drive (Arquivo → Salvar uma cópia no Drive) para rodar e editar.

Pontos principais

1. O flow matching aprende um campo de velocidade e amostra integrando uma ODE. A perda é um único erro quadrático, sem cronograma e sem limite variacional.
2. A velocidade marginal é intratável, mas regredir a condicional tem o mesmo gradiente. Esse teorema é o método inteiro. Uma consequência: a perda tem um piso acima de zero.
3. Difusão é flow matching com um interpolante curvo. \(a(t) = \sqrt{\bar\alpha_t}\) em vez de \(a(t) = t\). Um framework cobre os dois; no caminho linear, o DDIM é exatamente o passo de Euler do fluxo.
4. "Caminhos retos" vale para o caminho condicional. O caminho marginal — o que o modelo aprende — não é reto; ele repareia ruído e dados para que os caminhos nunca se encontrem.
5. Em imagens o caminho linear economiza no máximo cerca de um terço dos passos do solver e só com a ponderação certa ao longo de \(t\); com \(t\) uniforme um bom cronograma de difusão pode vencê-lo, como no laboratório. Os motivos maiores para adotá-lo são o objetivo (simples, robusto ao cronograma) e a receita em volta dele: timesteps logit-normais, deslocamento por resolução.
6. O reflow endireita o campo retreinando nos pares do próprio modelo. Funciona, ao custo de gerar esses pares. O "fluxo retificado" de SD3 e FLUX é o interpolante reto, não o reflow.
7. A geração em um passo vem de aprender saltos em vez de velocidades — consistência, atalho, MeanFlow — e, nos modelos lançados, de destilação (FLUX.1 [schnell], SD3.5 Turbo).
8. Desde 2024 o objetivo é compartilhado por modelos de imagem, vídeo, fala e ações de robôs: um \(p_1\) diferente, a mesma linha de código.