Modelagem de Tópicos & BERTopic

Uma pergunta que parece simples

• Ninguém rotula os documentos nem lista os temas: é não supervisionado, o irmão textual do agrupamento.
• Usos: um ano de avaliações ou de chamados de suporte, um arquivo de notícias, redes sociais, uma literatura científica.

Dois corpora: 11 frases escritas à mão e 2.155 posts reais de quatro fóruns (o fórum fica escondido dos modelos, para conferi-los).

O caminho desta aula

O que é um tópico? Duas respostas

O corpus escrito à mão, como contagens

LDA: uma história de como as palavras chegaram lá

Latent Dirichlet Allocation (Blei, Ng & Jordan, 2003):

1. cada tópico \(k\) é uma distribuição \(\varphi_k\) sobre o vocabulário;
2. cada documento \(d\) tem sua própria mistura \(\theta_d\), por exemplo \((0{,}8;\ 0{,}2)\);
3. para cada posição de palavra: sorteie um tópico \(z\) de \(\theta_d\) e depois uma palavra de \(\varphi_z\).

Não é uma afirmação de que as pessoas escrevem assim. A ordem das palavras não entra: contagens de bag-of-words bastam.

A história à mão

Um documento 80% esportes, 20% espaço:

\(p(\textit{team}) = 0{,}8 \times 0{,}40 + 0{,}2 \times 0{,}05 = 0{,}33\)

\(p(\textit{rocket}) = 0{,}8 \times 0{,}05 + 0{,}2 \times 0{,}40 = 0{,}12\)

Seguindo a história, 4 das 12 posições sortearam o tópico espaço; são exatamente aquelas onde aparecem moon, orbit, rocket, orbit.

A priori de Dirichlet: quão misturado é um documento?

\(\alpha\)	maior fatia
0,1	0,89
1	0,62
10	0,42

No scikit-learn: doc_topic_prior e topic_word_prior, ambos \(1/k\) por padrão: poucos tópicos por documento, poucas palavras por tópico.

Simulador: escreva um documento do jeito da LDA

Preveja. Com \(\alpha = 0{,}1\), os documentos sorteados saem de uma cor só ou das três?

Ajustando a LDA: a história de trás para a frente

• Gere um corpus com a própria história (300 documentos, 30 palavras cada), para conhecer os tópicos verdadeiros.
• A LDA recupera os pesos verdadeiros (0,35, 0,30 e 0,25 nas palavras de cada tópico) com erro de 0,01.
• As misturas estimadas têm correlação de 0,97 com as verdadeiras.

E nas 53 palavras escritas à mão?

• Semente 0: bread fresh game oven · team goal game orbit · rocket launch bread delayed: os temas misturados.
• Cada documento ainda vai com confiança (0,86 a 0,88) para um tópico.
• Em 20 sementes, só 1 separa limpo as nove frases de um tema só.

A LDA em 2.155 posts reais

Quatro fóruns do 20 Newsgroups (computação gráfica, hóquei, espaço, religião); 5.725 palavras de 3+ letras em pelo menos 5 posts e no máximo em metade deles.

NMF: \(X \approx WH\), sem nada negativo

Lee & Seung (1999): o mesmo formato da PCA (análise de componentes principais), mais a restrição de toda entrada ser \(\ge 0\). Aqui \(X\) é a TF-IDF.

A NMF nas 11 frases

Por que não negativa? Uma comparação com a SVD

Simulador: partes da NMF contra direções da SVD

Preveja. A partir de pesos aleatórios, aperte passo: as linhas da NMF terminam como temas inteiros ou como contrastes, como as da SVD? O erro dela chega ao da SVD?

A NMF nos posts

Uma rodada em um corpus: o lab encontra um corpus em que a ordem se inverte.

Quantos tópicos? E eles são bons?

Não há rótulos para validar: a nota precisa vir dos próprios documentos.

À mão: dos 2.155 posts, 304 têm god, 159 jesus e 101 as duas; se fossem independentes, seriam 1,04%; observado 4,69%: NPMI = 0,492.

Escolhendo o \(k\)

Com \(k = 4\): coerência da LDA 0,224 e diversidade 0,85; da NMF, 0,369 e 1,00.

A perplexidade só sobe: lida ao pé da letra, recomenda \(k = 2\); e ela não acompanha o que as pessoas acham interpretável.

Documentos curtos: onde as contagens acabam

Com as 20 primeiras palavras de cada post: NMF 0,12, LDA 0,03.

Preveja. "I want my money back" / "please process a refund": qual o cosseno na TF-IDF?

Significado como distância

Nos posts de 20 palavras, um k-means simples nos embeddings chega a ARI 0,582, cinco vezes o da NMF.

BERTopic: quatro passos, cada um uma aula que você conhece

Etapa 1 — embeddings

Cada post → 384 números com o all-MiniLM-L6-v2 (pequeno, em inglês, rápido numa CPU).

Etapa 2 — reduzir com UMAP

• Em 384 dimensões as distâncias se concentram: o agrupamento por densidade sofre.
• UMAP (Uniform Manifold Approximation and Projection) para 5 dimensões, não 2: o objetivo é agrupar, não desenhar.
• min_dist=0.0 junta bem os pontos parecidos, que é o que um agrupador por densidade quer.

Etapa 3 — agrupar com HDBSCAN

Hóquei (516) e religião (554) viram um grupo grande cada; computação gráfica e espaço se quebram em muitos pequenos (formatos de arquivo, placas de vídeo, a Lua…).

Simulador: min_cluster_size, um valor por vez

Preveja. Suba min_cluster_size de 2 a 40: o número de tópicos cai aos poucos?

Etapa 4 — descrever cada grupo com c-TF-IDF

Junte os documentos de um grupo num pseudodocumento; depois, um TF-IDF por classe (c-TF-IDF):

À mão, três grupos das frases escritas à mão: 16, 13 e 14 palavras, \(A = 14\).

O transformador do próprio BERTopic dá exatamente a mesma matriz.

Os grupos dos posts, com nome

A classe BERTopic encadeia os mesmos quatro passos: mesma partição (ARI 1,0), mesmas palavras do topo, só renumeradas por tamanho.

Etapa 5 — ajustar as palavras, não os grupos

LDA vs NMF vs BERTopic, medidos

Os mesmos 2.155 posts, 24 tópicos para os três, duas sementes cada. Preveja antes: de quem são os tópicos mais puros?

Lendo a tabela

• Homogeneidade: BERTopic 0,927, mas nos 80% de posts que ele manteve; com a semente 43 ele acha 16 tópicos mais amplos e cai para 0,662.
• Coerência e diversidade favorecem a NMF: a NPMI premia palavras que aparecem juntas, que é o que a NMF reconstrói; o BERTopic escolhe palavras distintivas.
• Estabilidade entre sementes (ARI): LDA 0,164, NMF 0,736, BERTopic 0,324, com até o número de tópicos mudando.

A comparação geral

Armadilhas: stop words e outliers

Armadilha: a granularidade é um degrau, não um botão giratório

Varra alguns valores e leia os tópicos; para juntar tópicos sem reagrupar, reduce_topics.

Armadilha: reprodutibilidade

Some aos embeddings um ruído de cerca de um milionésimo (o tamanho das diferenças entre CPU e GPU), mantendo todas as sementes:

Resumo

1. Um tópico é uma distribuição sobre palavras (LDA, NMF) ou um grupo de documentos (BERTopic).
2. LDA: uma história generativa; precisa de muitos documentos com palavras suficientes.
3. NMF: partes aditivas da matriz TF-IDF; estável, barata e coerente.
4. Escolha o \(k\) pela coerência e lendo os tópicos; a perplexidade engana.
5. BERTopic: embeddings → UMAP → HDBSCAN → c-TF-IDF; forte em textos curtos, outliers explícitos, frágil às sementes e ao min_cluster_size.

Tópicos em cinco fóruns, de três jeitos

• Cinco outros fóruns do 20 Newsgroups: 2.613 posts, entre 495 e 551 por fórum.
• Passos 2–3: LDA e NMF. Passos 4–7: o BERTopic passo a passo e depois em uma chamada. Passos 8–10: inspecionar os tópicos, compará-los com os fóruns e lidar com os outliers.
• Baixe o notebook do lab e abra no Jupyter ou no Colab; no Colab, rode !pip install bertopic antes.
• Rode os blocos em ordem, numa sessão só; quase todo o tempo vai no passo 4.