Machine Learning · Insper · E3.2

NMF

Abordagem avançada

Quantos tópicos? E eles são bons?

O caminho desta parte

  1. Duas pontuaçõesperplexidade; NPMI à mão
  2. A coerência medidaLDA contra NMF, coerência e diversidade
  3. Escolher o kuma varredura de 2 a 20, depois ler os tópicos
Cada etapa responde a uma pergunta: sem rótulos, o que dá nota a um tópico? → qual modelo tem os melhores tópicos? → quantos tópicos, então?
Etapa 1 · sem rótulos, o que dá nota a um tópico?

Quantos tópicos? E eles são bons?

A LDA (alocação latente de Dirichlet) e a NMF (fatoração de matrizes não negativas) precisam do \(k\) de antemão, e não há rótulos para validar.

perplexidade

o quanto a LDA se surpreende com posts separados; menor é melhor; só para modelos probabilísticos

coerência

as palavras do topo de um tópico aparecem juntas nos documentos?

\[ \text{NPMI}(a, b) = \frac{\log \dfrac{P(a, b)}{P(a)\,P(b)}}{-\log P(a, b)} \in [-1, 1] \]

NPMI: informação mútua pontual normalizada. \(P(a)\): fração dos documentos que contêm a palavra \(a\); \(P(a, b)\): fração que contém as duas. 0 = independentes, 1 = sempre juntas, −1 = nunca.

A NPMI à mão, passo a passo

2.155 posts; 304 contêm god, 159 jesus e 101 as duas. Preveja. Se as duas palavras fossem independentes, em uns quantos posts as duas apareceriam?

Etapa 2 · qual modelo tem os melhores tópicos?

Coerência e diversidade, medidas

  • Coerência de um tópico: a NPMI média sobre todos os pares das suas 10 palavras do topo; de um modelo: a média sobre os tópicos.
  • Diversidade: fração de palavras distintas entre as 10 do topo de todos os tópicos (1,0 = nenhum tópico divide uma palavra do topo).
4 tópicos nos postscoerência (NPMI)diversidade
LDA0,2240,85
NMF0,3691,00
As duas pontuações concordam com o olho: a LDA repete space, like, think entre tópicos; os tópicos da NMF não dividem nenhuma palavra do topo.
Etapa 3 · quantos tópicos, então?

Escolhendo o \(k\)

Preveja. A perplexidade em posts separados de \(k = 2\) a 20: ela aponta para 4, o número de fóruns?

À esquerda: a perplexidade da LDA em posts separados sobe sem parar com k. À direita: coerência; a LDA tem pico em k = 4, a NMF sobe até k = 4 e fica num platô

A perplexidade só sobe: lida ao pé da letra, \(k = 2\); e ela não acompanha o que as pessoas acham interpretável (Chang et al., 2009).

Coerência: a LDA tem pico em \(k = 4\) numa faixa larga entre sementes; a NMF sobe até 4 e depois fica num platô.

Varra uma faixa de \(k\), procure um cotovelo e leia os tópicos em dois ou três valores. Quatro fóruns ou doze subtemas é uma escolha de granularidade.
Prática · para casa

Sua vez (avançado)

  • Um par que nunca se encontra: a NPMI de hockey e jesus. Perto de −1, de 0 ou de 1?
  • A coerência das palavras do BERTopic: a pontuação concorda com o quanto elas parecem legíveis?
  • A sua varredura: a coerência da NMF em \(k\) = 3, 4, 6, 8; leia os tópicos em 8.

A seguir: os slides avançados da E3.3 BERTopic.