Representação de Texto

O problema: texto não é tabela

• A PCA (análise de componentes principais) gira as colunas de uma tabela; o k-means mede distâncias entre as suas linhas.
• Uma avaliação, um chamado de suporte, um post de fórum é uma sequência de caracteres de qualquer tamanho.

Esta aula constrói a ponte de strings a vetores, para que distâncias, projeções e agrupamentos valham para texto.

Duas famílias de respostas

O caminho desta aula

Cortar o texto em tokens

from sklearn.feature_extraction.text import CountVectorizer

docs = ["O gato comeu o peixe.",
        "O cachorro comeu a ração do gato.",
        "Gato dorme, gato sonha."]
analyzer = CountVectorizer().build_analyzer()    # o tokenizador padrão do scikit-learn
for d in docs:
    print(analyzer(d))
  

Três decisões silenciosas

['gato', 'comeu', 'peixe']
['cachorro', 'comeu', 'ração', 'do', 'gato']
['gato', 'dorme', 'gato', 'sonha']
  

Três tokenizadores, uma frase

s = "Os gatos não comeram a ração do cachorro, mas o gato comeu!"

Stop words e n-gramas

A frase de exemplo: "Os gatos não comeram a ração do cachorro, mas o gato comeu!" (12 tokens)

Nas três frases dos slides anteriores: 8 colunas → 7 com uma lista pequena de stop words → 17 com bigramas.

Stemming e lematização

Juntar as variantes de uma palavra num token só. Na mesma frase:

A mesma frase, normalizada

• "com" (preposição) e "comida" também viram "com": quatro palavras sem relação dividem uma coluna.
• O lematizador pequeno deixou "comeu" como estava: ele é um modelo estatístico e erra.
• "não" sobrevive a esta lista; a lista em inglês do scikit-learn remove "not", "no" e "never".

Subpalavras: os tokenizadores dos modelos neurais

Palavras frequentes ficam inteiras; palavras raras viram pedaços frequentes: nenhuma palavra é desconhecida.

##: colado ao pedaço anterior; ▁: início de palavra. Cada pedaço tem seu vetor, então uma palavra nunca vista inteira ainda recebe um.

Onde cada decisão da etapa 1 entra

Quão grande fica o vocabulário?

A coleção 20 Newsgroups: 11.314 posts de grupos da Usenet do começo dos anos 1990. Leia um token de cada vez e conte as palavras distintas vistas até ali.

Lei de Heaps: o vocabulário nunca para de crescer

como ler

• eixo x: tokens lidos até ali; eixo y: palavras distintas já vistas. Os dois em escala log.
• Em escala log, uma lei de potência vira reta; a inclinação, 0,61, é o expoente.
• Pontilhada: se todo token fosse uma palavra nova. A curva fica abaixo dela, mas nunca deita.
• 11 mil tokens → 3.279 palavras; 100 mil → 18.692; 1 milhão → 63.306.

Lei de Zipf: poucas palavras estão em toda parte

Preveja. Das 101.631 palavras distintas, que fração aparece uma única vez no corpus inteiro: 5%, 25% ou mais da metade?

como ler

• Cada ponto é uma palavra. Eixo x: a sua posição no ranking (1 = a mais frequente); eixo y: quantas vezes aparece. Os dois em log.
• No topo, "the" (106.381 vezes), "of", "is": as 10 primeiras são 21% de todos os tokens.
• No meio, "car" (posto 271, 799 vezes) e "hockey" (posto 625, 374 vezes).
• Faixa vermelha: 55% das palavras aparecem uma única vez.

Simulador: tokenize um parágrafo

Preveja. Passe de unigramas para uni + bi, o que o ngram_range=(1, 2) faz: o vocabulário cresce um pouco, dobra ou mais?

Um mapa das abordagens

Depois que o texto foi cortado em tokens, quatro páginas transformam os tokens em vetores, do mais simples ao mais poderoso. Aponte para uma família para segui-la.

O que cada uma faz e o que não consegue fazer

Bag-of-words: um documento é a sua contagem

       cachorro  comeu  do  dorme  gato  peixe  ração  sonha
doc 1         0      1   0      0     1      1      0      0
doc 2         1      1   1      0     1      0      1      0
doc 3         0      0   0      1     2      0      0      1
  

• Uma linha por documento, uma coluna por palavra; "gato" vale 2 no documento 3. A ordem das palavras é descartada.
• 13 das 24 células já são zero. Os 11.314 posts: \(11.314 \times 101.631\), 99,90% de zeros, guardada num formato esparso.

TF-IDF: contagens pesadas pela raridade

e depois cada linha é dividida pelo seu comprimento. Preveja. No documento 1 (gato, comeu, peixe: uma vez cada), qual palavra pesa mais?

     cachorro   comeu      do   dorme  gato   peixe   ração   sonha
idf    1.6931  1.2877  1.6931  1.6931   1.0  1.6931  1.6931  1.6931
       cachorro  comeu     do  dorme   gato  peixe  ração  sonha
doc 1     0.000  0.548  0.000  0.000  0.425   0.72  0.000  0.000
doc 2     0.505  0.384  0.505  0.000  0.298   0.00  0.505  0.000
doc 3     0.000  0.000  0.000  0.543  0.641   0.00  0.000  0.543
  

"peixe", só no documento 1, pesa 0,720; "gato", nos três, 0,425. Os mesmos zeros; cada linha com comprimento 1. Spärck Jones (1972); Salton & Buckley (1988).

Similaridade e distância: quatro medidas

Uma consulta e dois candidatos

Colunas: cachorro, comeu, do, dorme, gato, peixe, ração, sonha. A consulta é A.

Por que o cosseno é o padrão para texto

• Cosseno: A3 é idêntico a A (1,000) e B é uma correspondência parcial (0,471); B marca 0,471 contra A e contra A3.
• A euclidiana inverte a resposta: A3 fica mais longe de A (3,464) do que B (2,236), só porque é mais longo.
• Produto escalar: B contra A3 marca 6, o triplo do 2 contra A, para o mesmo conteúdo.
• O Jaccard concorda aqui, mas é cego a quantas vezes uma palavra aparece.

Os limites das representações esparsas

• Sinônimos dão zero: cosseno 0,00. Cada palavra é um eixo próprio, ortogonal aos outros.
• A ordem é invisível: "o cachorro mordeu o homem" e "o homem mordeu o cachorro" têm cosseno 1,00.
• Uma grafia, dois sentidos: manga (da camisa ou a fruta) faz frases sem relação parecerem próximas e duas frases de mesmo sentido parecerem sem relação (0,14 nos dois casos).
• Palavras novas somem: uma palavra não vista no fit não tem coluna.

Denso: conhecer uma palavra pelas companhias

"Você conhecerá uma palavra pelas companhias que ela mantém" (Firth, 1957)

• Hipótese distribucional (Harris, 1954): palavras usadas em contextos parecidos têm significados parecidos.
• "carro" e "automóvel" raramente estão na mesma frase, mas aparecem ao lado de motor, concessionária, pneu.
• Cada palavra ou texto recebe algumas centenas de números, aprendidos para que contextos parecidos deem vetores próximos.

Word embeddings, sentence embeddings

Word embeddings: como é um vetor

GloVe, treinado em 6 bilhões de tokens de texto em inglês: 400.000 palavras, 50 números cada.

glove = api.load('glove-wiki-gigaword-50')
print('cat =', glove['cat'][:8].round(3), '...')
print(glove.most_similar('cat', topn=5))
  

cat = [ 0.453 -0.501 -0.537 -0.016  0.222  0.546 -0.673 -0.689] ... (50 numbers, none of them zero)
nearest to cat: dog 0.92, rabbit 0.85, monkey 0.80, rat 0.79, cats 0.79
cosine car / automobile: 0.70
cosine car / banana: 0.22
  

Nenhum número sozinho significa algo; os vizinhos sim. "car" e "automobile" nunca dividiram uma coluna na bag-of-words; aqui têm cosseno 0,70.

Sentence embeddings: um vetor por frase

paraphrase-multilingual-MiniLM-L12-v2, com normalize_embeddings=True: 384 números por texto, mais de 50 línguas.

(3, 384)
o carro é rápido = [ 0.016  0.033 -0.08   0.037 -0.014 -0.002  0.039 -0.028] ... (384 numbers)
vs 1: cosine 0.97 · dot 0.97 · Euclidean 0.25
vs 2: cosine 0.23 · dot 0.23 · Euclidean 1.24
  

Com comprimento 1, produto escalar = cosseno e a distância euclidiana conta a mesma história ao contrário.

Esparso vs denso: uma frase, três vetores

"the cat sleeps on the couch": bag-of-words sobre o vocabulário dos newsgroups, a média dos seus vetores GloVe e o seu sentence embedding.

O que "esparso" e "denso" querem dizer

Simulador: quatro jeitos de transformar uma frase em vetor

Preveja. Na paráfrase "o carro é rápido" / "o automóvel é veloz", quais das quatro dão cosseno 0? Depois troque a ordem das palavras e marque B três vezes.

Esparso vs denso: os mesmos pares, dos dois jeitos

TF-IDF ajustado nas frases da tabela; um modelo multilíngue pequeno do sentence-transformers (384 números por texto).

Lendo a tabela, linha a linha

Onde o TF-IDF é mais forte: tokens raros e exatos

Duas entradas de uma central de ajuda que diferem só no código de erro (0x80070005 e 0x80004005) e uma consulta para cada código.

Classificação: quantos rótulos você tem?

Quatro newsgroups, uma regressão logística usada como caixa-preta; só a representação muda. Acurácia em 1.364 posts posteriores (chutar uma classe: cerca de 25%).

Por quê: o que cada uma já sabe ao chegar

Esparso vs denso, lado a lado

Resumo: qual usar e quando

1. Comece pelo TF-IDF: barato e difícil de bater quando há muitos rótulos e vocabulário de domínio.
2. Recorra aos embeddings quando o significado importa mais que as palavras exatas (busca, textos curtos, paráfrases, várias línguas) ou quando os rótulos são escassos.
3. Quando tanto os tokens exatos quanto o significado importam, combine os dois.

Esparso vs denso em posts reais

• Quatro newsgroups (computação gráfica, beisebol, eletrônica e cristianismo), cerca de 2.100 posts, representados duas vezes: TF-IDF e sentence embeddings.
• Passos: carregar os posts · duas representações · qual acha posts sobre o mesmo assunto? · busca semântica contra busca por palavras-chave · olhar os dois espaços · o mesmo classificador caixa-preta nas duas.
• Baixe o notebook do lab e abra no Jupyter ou no Colab; no Colab, rode !pip install sentence-transformers antes.

Cada uma das quatro subpáginas (U4.1 a U4.4) tem simulador e lab próprios.