Machine Learning · Insper · E3.4

Comparando os Modelos

Abordagem fundamental

Em qual modelo confiar e quando?

O caminho desta parte

Medir os trêsmesmos posts, 24 tópicos, duas sementes
Comparar no geralo que é um tópico, textos curtos, outliers, custo
Escolherqual modelo, para qual corpus

Cada etapa responde a uma pergunta: como os três pontuam em condições iguais? → em que diferem além das pontuações? → qual escolher para o meu corpus?

Etapa 1 · como os três pontuam em condições iguais?

LDA vs NMF vs BERTopic, medidos

Os mesmos 2.155 posts, 24 tópicos para a LDA (alocação latente de Dirichlet), a NMF (fatoração de matrizes não negativas) e o BERTopic, duas sementes cada. Homogeneidade: 1 quando todo tópico tem um só fórum. Coerência: NPMI (informação mútua pontual normalizada) média das palavras do topo. Diversidade: fração de palavras do topo distintas. Preveja: de quem são os tópicos mais puros?

modelo	semente	tópicos	outliers	coerência	diversidade	homogeneidade
LDA	42	24	0%	0,265	0,72	0,526
NMF	42	24	0%	0,391	0,92	0,646
BERTopic	42	24	20%	0,251	0,88	0,927
LDA	43	24	0%	0,276	0,70	0,574
NMF	43	24	0%	0,407	0,91	0,644
BERTopic	43	16	10%	0,295	0,82	0,662

Lendo a tabela

Homogeneidade: BERTopic 0,927, mas nos 80% de posts que manteve; com a semente 43 ele acha 16 tópicos mais amplos e cai para 0,662.
Coerência e diversidade favorecem a NMF: a NPMI premia palavras que aparecem juntas, que é o que a NMF reconstrói; o BERTopic escolhe palavras distintivas.
Estabilidade entre sementes, ARI (índice de Rand ajustado): LDA 0,164, NMF 0,736, BERTopic 0,324, com até o número de tópicos mudando.

Uma pontuação de coerência mede um aspecto da qualidade, não a verdade.

Etapa 2 · em que diferem além das pontuações?

A comparação geral

	LDA	NMF	BERTopic
um tópico é	uma distribuição sobre palavras	uma linha não negativa de \(H\)	um grupo, nomeado pelo c-TF-IDF
número de tópicos	fixado de antemão	fixado de antemão	encontrado pelo HDBSCAN
documentos curtos	fraca	fraca	forte
outliers	nenhum	nenhum	explícitos (−1)
dependência da semente	forte	menor (início por SVD)	sim, até o número de tópicos
custo	barato, CPU	o mais barato, CPU	modelo de embeddings; uma GPU (processador gráfico) ajuda

c-TF-IDF: TF-IDF por grupo · SVD: decomposição em valores singulares · CPU: processador central.

Etapa 3 · qual escolher para o meu corpus?

Qual modelo, quando

documentos curtos?

tweets, títulos, assuntos de chamados: poucas palavras em comum para as contagens

BERTopic

misturas?

um documento deve misturar vários tópicos, com pesos legíveis

LDA ou NMF

barato e estável?

sem baixar modelo, início por SVD

NMF

Nenhum modelo vence sempre: a NMF venceu a LDA nos posts da aula e a LDA venceu a NMF no lab. Meça contra algo que o modelo nunca viu e leia sempre os tópicos.

Prática

Para fechar a parte fundamental

Por que a homogeneidade de 0,927 do BERTopic não é diretamente comparável com o 0,646 da NMF?
Os tópicos de qual modelo mais mudaram com a semente? Qual mudou até o número deles?
Para 50.000 títulos de avaliações de produtos com oito palavras cada, por qual modelo você começaria?

A seguir: o resumo e o lab fundamental na página de visão geral (passos 1 a 7).