Agrupamento Hierárquico

De uma partição a uma árvore

O caminho desta aula

A ideia: fundir os dois grupos mais próximos e repetir

1. comece com \(n\) grupos, um por ponto;
2. encontre os dois grupos mais próximos entre si;
3. funda os dois num só e registre a distância: a altura da fusão;
4. volte ao passo 2 até sobrar um único grupo.

Depois de \(n - 1\) fusões, o histórico das fusões é a árvore. Nada é sorteado e nada é iterado até convergir: os mesmos dados sempre dão a mesma árvore (a menos de empates).

A ligação: distância entre grupos

A soma de quadrados dentro dos grupos é a inércia do k-means: Ward a faz crescer o mais devagar possível, uma fusão gulosa de cada vez.

Simulador: funda, veja a árvore crescer e corte

Preveja. Na cadeia (duas bolhas e uma ponte), qual ligação vai colar as duas bolhas muito antes da última fusão?

Cinco pontos sobre uma reta

A fusão 2 já separa as ligações

A linha nova: a distância de \(\{A, B\}\) a todo o resto.

O resto da matriz não muda: C–D = 5, C–E = 11, D–E = 6.

Simples: a menor entrada é 4, então C se junta a {A, B}. Completa e média: a linha nova é maior e a menor entrada passa a ser C–D = 5, então C forma par com D.

Quatro árvores, até o fim

• Fusão 3: a média junta os dois pares (8 contra 8,5); a completa enxerga o 12 entre A e D e traz E para {C, D} (11).
• Custos \(\Delta\) de Ward: 4,5 + 12,5 + 48,17 + 140,83 = 206, a soma de quadrados dos cinco pontos em torno da média 8. A altura reportada é \(\sqrt{2\Delta}\): \(\sqrt{2 \cdot 4{,}5} = 3\).

Uma matriz, árvores diferentes

Como ler um dendrograma

• O eixo y é uma distância. Dois pontos são tão parecidos quanto a altura da barra mais baixa que os liga: a distância cofenética. Árvore completa: A e B em 3, A e E em 18.
• As linhas verticais longas são a parte interessante: um grupo que continua longe de todo o resto. {C, D, E} se forma em 11 e espera até 18.
• A ordem da esquerda para a direita quase não traz informação: cada barra pode ser girada, então 5 folhas têm \(2^4 = 16\) desenhos equivalentes.

A matriz de ligação Z

Z = linkage(X, 'complete')
# [[ 0.  1.  3.  2.]
#  [ 2.  3.  5.  2.]
#  [ 4.  6. 11.  3.]
#  [ 5.  7. 18.  5.]]
    

Uma linha por fusão, \(n - 1\) linhas, na ordem em que as fusões aconteceram.

Cortando a árvore

Uma linha horizontal na altura \(t\): cada pedaço pendurado abaixo dela é um grupo.

Qualquer corte entre 11 e 18 dá os mesmos dois grupos: uma faixa de 7 unidades de largura. É essa largura que torna estável aqui a resposta de dois grupos.

No scikit-learn e uma propriedade

AgglomerativeClustering(n_clusters=2, linkage='ward').fit(X)
AgglomerativeClustering(n_clusters=None, distance_threshold=8, linkage='complete').fit(X)
  

• As mesmas alturas de fusão das tabelas feitas à mão (Ward na escala \(\sqrt{2\Delta}\)).
• Sem predict: um ponto novo não tem lugar na árvore até você reconstruí-la ou atribuí-lo com outra regra.

O comportamento de cada ligação, medido

Quatro conjuntos com grupos conhecidos, 300 pontos cada; todo método recebe o número verdadeiro de grupos. A nota é o ARI (índice de Rand ajustado, Adjusted Rand Index): 1 para os grupos verdadeiros, perto de 0 para o acaso.

Dois campos

A simples pergunta "existe algum salto curto?": segue cadeias (1,00 nas luas e nas faixas) e uma ponte de 20 pontos funde duas bolhas (0,00). Isso é o encadeamento (chaining).

A completa, a média e Ward comparam os grupos como um todo: uma ponte não consegue puxar duas bolhas uma para a outra, mas elas cortam as luas e as faixas de través, como o k-means.

Onde cortar

400 pontos em quatro bolhas que vêm em dois pares: duas escalas de estrutura. Árvore de Ward.

\(k\)	faixa de alturas de corte	salto	silhueta
2	32,3 a 159,2	126,9	0,787
3	30,3 a 32,3	2,1	0,664
4	9,7 a 30,3	20,6	0,545
5	9,2 a 9,7	0,5	0,473

Quanto mais larga a faixa de alturas a que um \(k\) sobrevive, mais os dados insistem nele. A silhueta prefere a divisão mais grossa e não enxerga a segunda escala.

Então qual corte está certo?

• Os dois: os cortes são aninhados. Relate dois segmentos no nível grosso e quatro no nível fino; eles concordam entre si.
• Quando um único número é exigido, escolha pensando na pergunta (com quantos grupos alguém consegue agir?) e use os saltos e a silhueta para descartar cortes que os dados não sustentam: \(k = 3\), salto de 2,1.
• O coeficiente de inconsistência é local: com profundidade 2, ele não passa de \(2/\sqrt3 = 1{,}15\) e as três fusões do topo chegam todas a esse máximo. Mais uma pista, no máximo.

Correlação cofenética: quão fiel é a árvore?

A correlação entre as distâncias originais e as cofenéticas. À mão, para a árvore de ligação simples dos cinco pontos:

\(33 / \sqrt{220 \times 10} = \mathbf{0{,}704}\). As outras árvores: completa 0,565, média 0,691, Ward 0,561.

Árvore fiel ≠ bons grupos

As quatro bolhas, quatro ligações:

Além da distância euclidiana

Custo: por que não escala

linhas	distâncias entre pares
1.000	0,004 GB
10.000	0,400 GB
100.000	40 GB
1.000.000	cerca de 4.000 GB

Os melhores algoritmos são \(O(n^2)\), ainda quadráticos. Na máquina em que a figura foi gerada, 16.000 linhas levaram 6,11 s com Ward; o k-means, 0,004 s. Um método para centenas a dezenas de milhares de linhas.

O que fazer com mais linhas

• Amostrar e depois atribuir. Árvore numa amostra de 2% (2.000 de 100.000 linhas), cortada em 5, cada um dos demais pontos ao centroide mais próximo: ARI 0,993. O que se perde é a estrutura fina: um grupo de 30 pontos teria cerca de 0,6 representante.
• Restrições de conectividade: só fundir vizinhos num grafo esparso.
• O HDBSCAN (o DBSCAN hierárquico; DBSCAN: density-based spatial clustering of applications with noise) é ele próprio hierárquico: uma árvore de ligação simples sobre uma distância ajustada pela densidade, sem a matriz completa. Além disso, marca ruído.

Hierárquico vs k-means vs DBSCAN

Aplicações

Taxonomias: sempre que o produto é uma árvore e não uma partição.

Segmentação em várias granularidades: 12 segmentos finos que são subdivisões de 3 grossos.

Mapas de calor de expressão gênica: agrupe linhas e colunas com distância de correlação e redesenhe na ordem das folhas.

Os mesmos números, reordenados pela árvore: aparecem blocos de genes que sobem e que descem nos tumores e a árvore das colunas separa as amostras de tumor das normais na sua fusão do topo.

Resumo

1. Funda os dois grupos mais próximos e repita: o histórico das fusões é a árvore.
2. A ligação define "mais próximo" e decide o que a árvore encontra.
3. Leia alturas, não a ordem da esquerda para a direita; cortes de uma árvore são aninhados.
4. Escolha o corte pelos saltos nas alturas das fusões, pensando na pergunta.
5. Correlação cofenética = fidelidade da árvore, não qualidade dos grupos.
6. Custo quadrático: centenas a dezenas de milhares de linhas.

Uma árvore de 101 animais

• A tabela Zoo da UCI (University of California, Irvine): 15 perguntas de sim/não e o número de pernas. A classe do zoólogo fica lacrada até o passo 8.
• Uma árvore de 16 atributos simples consegue redescobrir a taxonomia? O que ela mostra que o k-means não mostra?
• Baixe o notebook do lab e abra no Jupyter ou no Colab.