4. VAE

Atividade: Autoencoders Variacionais (VAEs)

Esta atividade é projetada para testar suas habilidades em Autoencoders Variacionais (VAEs).

O fio condutor da atividade é o cabo de guerra dentro da perda. Um VAE paga por duas coisas ao mesmo tempo: reconstruir a entrada e manter o espaço latente perto de um prior do qual se sabe amostrar. Primeiro um VAE de verdade no MNIST, registrando os dois termos separadamente; depois um espaço latente 2-D que dá para enxergar, para ver o que esse prior compra — e quanto custa.

Exercício 1

Um VAE no MNIST

A — Carregue e divida os dados

Use o MNIST do torchvision, com pixels em \([0, 1]\) (o transforms.ToTensor() já faz isso), achatados em vetores de 784. Divida as 60 000 imagens de treino em 50 000 para treino e 10 000 para validação, exatamente assim:

from torch.utils.data import random_split

train_full = datasets.MNIST("data", train=True, download=True, transform=transforms.ToTensor())
test = datasets.MNIST("data", train=False, download=True, transform=transforms.ToTensor())
train, val = random_split(train_full, [50_000, 10_000],
                          generator=torch.Generator().manual_seed(42))

As 10 000 imagens oficiais de teste são o conjunto de teste.

B — Construa o modelo

Use esta arquitetura, para que os números do relatório possam ser comparados entre si e com os valores de referência abaixo:

com dimensão latente \(d = 16\). A perda por imagem, somada sobre os pixels e sobre as dimensões latentes:

com \(\beta = 1\) e média sobre as imagens do lote.

C — Treine

Treine com Adam, taxa de aprendizado \(10^{-3}\), lotes de 128, por 20 épocas. No fim de cada época, registre o termo de reconstrução e o termo KL no treino (a média ao longo da época) e na validação. Depois:

1. Reporte a reconstrução no teste, a KL no teste e a soma das duas (o ELBO negativo), em nats por imagem. Uma implementação correta fica em torno de 81 nats de reconstrução e 20 nats de KL. Numa CPU de notebook leva cerca de meio minuto;
2. Produza a Figura 1: dois painéis, reconstrução \(\times\) época e KL \(\times\) época, cada um com a curva de treino e a de validação.

D — Reconstruções e amostras

1. Produza a Figura 2: a primeira imagem de teste de cada dígito de 0 a 9 na linha de cima e sua reconstrução na linha de baixo. Reconstrua decodificando \(\boldsymbol{\mu}\) — não amostre \(z\).
2. Produza a Figura 3: uma grade \(8 \times 8\) de imagens decodificadas de \(z \sim \mathcal{N}(0, I)\), sorteadas depois de torch.manual_seed(0).

E — Análise

1. Figura 1: a KL sobe nas primeiras épocas enquanto a perda total cai. Por que o otimizador escolheria pagar mais KL?
2. A Figura 3 parece pior que a Figura 2 — dígitos mais borrados, alguns que não são dígito nenhum. Dê duas razões distintas: uma sobre onde as amostras do prior caem no espaço latente e outra sobre o que o decoder produz para um dado \(z\) (a seção da aula sobre o borrão).
3. Por que decodificar \(\boldsymbol{\mu}\) e não um \(z\) amostrado na Figura 2?

Exercício 2

Um espaço latente que dá para ver

Com \(d = 16\) o espaço latente não pode ser desenhado. Com \(d = 2\) pode — a um preço que este exercício pede para você medir.

A — Treine um VAE 2-D

Treine o mesmo modelo do Exercício 1, mudando apenas \(d = 2\). Mesmos dados, semente, \(\beta\) e orçamento de treino. Reporte a reconstrução e a KL no teste (espere algo perto de 135 e 7 nats) ao lado dos números de \(d = 16\).

B — O conjunto de teste codificado

Produza a Figura 4: um gráfico de dispersão de \(\boldsymbol{\mu}\) para as 10 000 imagens de teste, colorido por dígito, com legenda.

C — O plano decodificado

Produza a Figura 5: decodifique uma grade \(15 \times 15\) de pontos latentes e disponha as imagens no mesmo arranjo. Não espace a grade linearmente: use \(z = \Phi^{-1}(q)\), em que \(q\) percorre 15 valores igualmente espaçados em \([0.05, 0.95]\) e \(\Phi^{-1}\) é a inversa da CDF de \(\mathcal{N}(0, 1)\) (scipy.stats.norm.ppf). Diga em uma frase por que esse espaçamento dá a cada célula a mesma massa do prior.

D — Interpolação

Escolha duas imagens de teste de dígitos diferentes e reporte os índices. Produza a Figura 6 com duas linhas de 10 imagens cada, para \(t\) de 0 a 1:

• linha de cima, no espaço dos pixels: \((1 - t)\,\mathbf{x}_a + t\,\mathbf{x}_b\);
• linha de baixo, no espaço latente, com o modelo \(d = 16\) do Exercício 1: decodifique \((1 - t)\,\boldsymbol{\mu}_a + t\,\boldsymbol{\mu}_b\).

E — Análise

1. Quais dígitos se sobrepõem na Figura 4? Encontre a mesma transição na Figura 5 e descreva como são as imagens do meio do caminho.
2. \(d = 2\) reconstrói claramente pior que \(d = 16\). O que dois números por imagem obrigam o modelo a jogar fora? Use a Figura 5 como evidência.
3. Compare as duas linhas da Figura 6. Qual delas passa por imagens que parecem dígitos e por que a outra não passa?

Resumo dos resultados

Encerre o relatório com esta tabela, preenchida:

Critérios de Avaliação

O entregável desta atividade é um relatório que inclui:

1. O código do seu VAE, da perda e do laço de treino, comentado.
2. As Figuras 1 a 6, numeradas conforme pedido.
3. Suas respostas às perguntas de análise dos itens 1E e 2E.
4. A tabela de Resumo dos resultados.

Notas Importantes:

• A entrega é um site no GitHub Pages apoiado em um repositório público — veja Formato de Entrega para a estrutura obrigatória, o front matter e o checklist;

• Há uma política estrita contra plágio. Qualquer forma de plágio resultará em nota zero na atividade e pode levar a outras medidas disciplinares conforme as políticas de integridade acadêmica da universidade;

• O prazo de cada atividade não é estendido — NENHUMA EXCEÇÃO será feita para entregas atrasadas.

• Colaboração com IA é permitida, mas cada aluno DEVE ENTENDER e ser capaz de explicar todas as partes do código e da análise entregues. Qualquer uso de ferramentas de IA deve ser devidamente citado. PROVAS ORAIS podem ser realizadas.

Critérios de Nota:

Cada linha vale os pontos indicados, atribuídos integralmente, parcialmente (metade) ou não atribuídos: integralmente quando o item está completo e correto; parcialmente quando está implementado mas falta a análise pedida, ou quando a análise não traz o resultado numérico que a sustenta; zero quando ausente ou incorreto.

A aparência das amostras não é avaliada, nem os valores da perda em si. Dados, arquitetura e sementes são fixos, então os números são o que são; o que se avalia é o método, as figuras e o relato honesto do que você obteve.

Exercício 1 — VAE no MNIST (5 pontos):

Exercício 2 — Espaço latente 2-D (5 pontos):