Redução de Dimensionalidade

Por que reduzir? O motivo escolhe o método

O caminho desta aula

A maldição da dimensionalidade

Sorteie pontos no cubo unitário e olhe as distâncias entre eles.

Simulador: distâncias em \(d\) dimensões

Aumente \(d\) e veja o histograma das distâncias colapsar num pico.

Contraste relativo, medido

\((d_{\max} - d_{\min})/d_{\min}\), mediana sobre 400 pontos:

\(d\)	colunas de ruído	folha 2D em \(d\) colunas
2	42,97	39,23
10	2,27	41,51
100	0,39	45,88
1000	0,11	44,24

PCA: as direções de variância máxima

Dados centrados \(X\); covariância \(C = \frac{1}{n-1} X^\top X\).

• \(w_1\) é o autovetor de \(C\) com o maior autovalor \(\lambda_1\); o próximo é ortogonal a ele e assim por diante.
• \(\lambda_k\) é a variância capturada pelo componente \(k\); EVR é a razão de variância explicada (explained variance ratio).

PCA à mão: centralizar, depois a covariância

PCA à mão: autovalores e direções

3. \(\det(C - \lambda I) = 0\):

Conferência: \(8 + 2 = 10 = 5 + 5\), a variância total. Logo \(\text{EVR}_1 = 8/10 = 80\%\).

4. \((C - 8I)w = 0\) dá \(w_1 = w_2\): a PC1, o primeiro componente principal, é \((1,1)/\sqrt{2}\), a diagonal de 45°. A PC2 é \((-1,1)/\sqrt{2}\).

PCA à mão: projetar e reconstruir

5. Escores na PC1: \(-2\sqrt2, -2\sqrt2, 0, 2\sqrt2, 2\sqrt2\). A variância deles é 8: o autovalor.

6. Só a PC1: \((2,4)\) e \((4,2)\) viram \((3,3)\); erro quadrático \(4 \times 2 = 8\) e \(8/4 = 2 = \lambda_2\).

O mesmo em código e dois detalhes

• np.linalg.eigh devolve os autovalores em ordem crescente: a melhor direção vem por último. Esquecer de ordenar é um bug silencioso.
• O PCA do scikit-learn concorda: explained_variance_ratio_ = [0,8; 0,2].
• Os sinais são arbitrários: \(w\) e \(-w\) são ambos autovetores; interprete os sinais relativos dentro de um componente, nunca o sinal absoluto.
• Pontos novos não exigem reajuste: \((9,7) - (5,5) = (4,2)\) e \((4+2)/\sqrt2 = 4{,}243\), exatamente o pca.transform.

Simulador: gire a reta

Preveja. Conforme você gira a reta, em quantos ângulos a variância capturada chega ao máximo? Depois aperte encontrar PC1.

A questão da escala

Vinhos: 13 medidas químicas de 178 vinhos. A prolina tem desvio-padrão 314,9; a tonalidade fica em torno de 1.

99,8% não é uma descoberta sobre vinho: é uma medida da unidade da prolina.

Isso importa mais adiante?

Um classificador k-NN (k vizinhos mais próximos) que só vê as duas coordenadas do PCA, em 30% dos vinhos:

bruto → PCA(2)

0,722

padronizado → PCA(2)

0,926

Escolhendo \(k\): 64 pixels de dígitos

• 2 componentes guardam 28,5%: uma figura 2D de PCA mostra menos de um terço.
• 90% exige 21, 95% exige 29, 99% exige 41.
• PCA(n_components=0.95) faz a busca por você.

Critérios, do mais confiável ao menos: um limiar de variância acumulada; o cotovelo (subjetivo); o desempenho a jusante em dados de validação; o critério de Kaiser (frágil).

Reconstrução: o que \(k\) componentes guardam

\(k\)	guardado	erro / imagem	\(\lambda\) descartados
1	14,9%	1022,6	1022,6
2	28,5%	858,9	858,9
10	73,8%	314,5	314,5
29	95,5%	54,3	54,3
64	100,0%	0,0	0,0

Simulador: reconstrua uma imagem com \(k\) componentes

Preveja. De quão poucos componentes o olho precisa até parar de reclamar?

Cinco armadilhas do PCA

1. Não padronizar colunas em unidades diferentes: você mede a unidade.
2. Ajustar antes da divisão: as linhas de teste moldam a projeção.
3. Supor que os componentes de alta variância são os úteis para prever: o PCA nunca olha o alvo.
4. Ler componentes como fatores do mundo real: os sinais são arbitrários; autovalores próximos admitem qualquer rotação.
5. PCA em colunas one-hot sem pensar: uma coluna 0/1 tem variância \(p(1-p)\), então categorias raras somem.

Onde o PCA se esgota

O PCA só pode rotacionar e projetar: move os eixos, nunca os dobra.

O rocambole suíço (swiss roll): uma folha 2D enrolada em 3D. Dois pontos em camadas opostas estão perto em linha reta e longe ao longo da folha.

Simulador: o rocambole suíço

Marque marcar par de pontos e depois projete com PCA. A distância euclidiana atravessa o espaço vazio; a geodésica caminha sobre a folha.

Uma nota para um mapa: a trustworthiness

Dos \(k\) vizinhos mais próximos de cada ponto no mapa, quantos eram vizinhos de verdade? 1 = nenhum intruso; um mapa aleatório ≈ 0,5.

O t-SNE em três passos

1. Vizinhanças nos dados: uma gaussiana em torno de cada ponto, com a largura ajustada ponto a ponto até uma perplexidade ("número efetivo de vizinhos"). Regiões densas e esparsas ganham larguras diferentes.
2. Vizinhanças no mapa: uma t de Student, de caudas pesadas, para abrir espaço em 2D. Efeito colateral: as distâncias entre grupos deixam de ser interpretáveis.
3. Minimizar a divergência de Kullback–Leibler \(\text{KL}(P\,\|\,Q)\): vizinhos de verdade desenhados longe custam caro; pontos distantes desenhados perto saem quase de graça.

Simulador: t-SNE de verdade, no navegador

Experimente. Rode em ruído uniforme; mude só a perplexidade; compare grupos de tamanhos diferentes.

O que um mapa t-SNE não diz, medido

	dados	t-SNE
quantas vezes mais largo é o grupo espalhado	11,6	1,0
quantas vezes mais longe está o grupo distante	10,0	1,3

A perplexidade muda a figura

perplexidade	razão de distâncias
2	3,3
5	1,1
30	1,3
100	7,0

Com 2 e 5 todo grupo se estilhaça em fragmentos que não existem. Não há perplexidade "certa": em geral de 5 a 50, menor que o menor grupo que você quer enxergar.

O t-SNE encontra grupos no ruído

• O mapa parece de quatro a cinco vezes mais "agrupado" que os dados.
• Uma boa trustworthiness não certifica a estrutura: o ruído também tem vizinhanças locais.

Eixos e execuções

A perda depende só das distâncias no mapa: girá-lo ou espelhá-lo não muda nada. Dígitos, inicialização aleatória, semente 0 contra as sementes 1, 2 e 3:

UMAP: um grafo de vizinhos

1. Cada ponto é ligado a seus n_neighbors pontos mais próximos, com pesos difusos; nenhum ponto fica isolado.
2. Os pesos são fundidos num único grafo difuso simétrico.
3. Um layout 2D por gradiente descendente estocástico: as arestas atraem, pontos aleatórios sorteados repelem; uma penalidade explícita por aproximar pontos distantes.

PCA vs t-SNE, lado a lado

Trustworthiness nos dígitos, para vizinhanças de tamanho \(k\):

	k=5	k=30	k=100
PCA	0,830	0,830	0,835
t-SNE	0,995	0,985	0,963
UMAP	0,989	0,983	0,961

O t-SNE parte os 1 em ilhas e corta o rocambole em pedaços. Não há vencedor até você dizer qual escala lhe interessa.

A tabela comparativa

Sete afirmações proibidas sobre um gráfico t-SNE/UMAP

1. "Este grupo é maior, logo varia mais." (11,6× nos dados, 1,0× no mapa)
2. "Estes dois grupos estão próximos, logo são parecidos." (10× nos dados, 1,3× no mapa)
3. "Há 5 grupos nos dados." Há 5 manchas no gráfico.
4. "O eixo horizontal representa X." Rotação e reflexão são arbitrárias.
5. "Rodei uma vez e vi isso." Varie a semente, a perplexidade, a amostra.
6. "Usei os 2 componentes do t-SNE como atributos." Não há transform honesto.
7. "Rodei o t-SNE no conjunto todo e depois dividi." Vazamento.

Escolhendo um método

• Vai alimentar outro modelo ou você precisa de reversibilidade → PCA. Ponto final.
• Você quer olhar os dados para gerar hipóteses, com até alguns milhares de pontos → t-SNE ou UMAP, com PCA antes se \(d\) for grande.
• \(n\) é grande ou você precisa projetar dados novos no mesmo mapa → UMAP.
• Você precisa de estrutura global confiável numa figura → nenhum é ideal: mostre o PCA e o t-SNE/UMAP.

Resumo

1. As distâncias se concentram quando as colunas não carregam informação; pergunte quantas direções variam.
2. PCA = autovetores da covariância; \(\lambda\) é a variância guardada; o erro é a variância jogada fora.
3. Padronize colunas em unidades diferentes; ajuste o PCA dentro do pipeline.
4. O t-SNE e o UMAP guardam as vizinhanças locais; tamanhos, distâncias e eixos nos mapas deles não significam nada.
5. Só o UMAP e o PCA posicionam pontos novos.

Mapeando CEPs manuscritos

• USPS (serviço postal dos EUA): 9.298 dígitos manuscritos de envelopes, 16×16 = 256 colunas.
• Baixe o notebook do lab e abra no Jupyter ou no Colab; no Colab, rode antes !pip install umap-learn.