Sentence Embeddings

A maioria das tarefas é sobre textos, não palavras

O caminho desta aula

A resposta óbvia: a média dos vetores de palavras

À mão: \((0{,}418 + 0{,}308 + 0{,}087 - 0{,}027)/4 = 0{,}1965\). Não custa nada e não precisa de treino.

O que a média perde

Transformers, em um slide

• Um Transformer (Vaswani et al., 2017) lê a frase inteira de uma vez.
• Ele corta o texto em tokens de subpalavras (um vocabulário de cerca de 30.000 pedaços): nenhuma palavra fica fora do vocabulário.
• Em cada camada, o vetor de cada token é recalculado como uma mistura ponderada de todos os tokens (atenção).
• BERT (Devlin et al., 2019): treinado para preencher palavras escondidas; um vetor contextual por token.

Embeddings are unbelievably useful → em · ##bed · ##ding · ##s · are · un · ##bel · ##ie · ##va · ##bly · useful

Uma palavra, vários vetores

Sentence-BERT: treinado para comparar frases

Mean pooling: a média dos vetores dos tokens, cada um já carregando seu contexto.

O Sentence-BERT (Reimers & Gurevych, 2019) acrescenta um treino: cosseno alto para pares que significam o mesmo, baixo para os que não.

Um bi-encoder: cada frase é codificada separadamente, então uma coleção é codificada uma vez e guardada.

Usando o sentence-transformers

E = model.encode(["the movie was great", "the film was excellent",
                  "the stock market fell sharply today"], normalize_embeddings=True)
E @ E.T     # com linhas de comprimento 1, o produto escalar é o cosseno
  

A média do GloVe dava 0,96 contra 0,66: agora a escala é usada de baixo a cima.

Três representações, os mesmos pares

TF-IDF (frequência do termo × frequência inversa nos documentos), média dos vetores GloVe e Sentence-BERT (SBERT) em oito pares, cada um testando uma propriedade:

Antes do próximo slide: em qual coluna você confiaria para separar relacionado de não relacionado?

Lendo a tabela

Outras línguas

Busca semântica é k vizinhos mais próximos

Codifique a coleção uma vez; para cada consulta, um produto de matrizes dá todos os cossenos. Sem rótulos e sem previsão: só achar vizinhos.

Um FAQ em português, oito entradas

Simulador: embeddings vs TF-IDF

Preveja. Para a consulta "erro 402", qual ranking ganha, embeddings ou TF-IDF? Depois digite sua própria consulta.

O que o simulador mostra

Agrupando frases

16 manchetes em português, quatro assuntos (futebol, culinária, economia, tempo), k-means com 4 grupos, avaliado pelo índice de Rand ajustado (ARI):

Notas práticas

Resumo

1. A média dos vetores de palavras é de graça, mas cega à ordem e à negação: tudo parece igual.
2. Um Transformer dá a cada token um vetor contextual: dois "banks", dois vetores.
3. Sentence-BERT: agregado e treinado para que o cosseno acompanhe o significado, na escala inteira.
4. Busca semântica = vizinhos mais próximos; agrupar textos curtos funciona muito melhor que no TF-IDF.
5. Confira negação e papéis, escolha o modelo pela sua língua, cuidado com o limite de tamanho.

Similaridade de frases em português

• ASSIN 2: 2.448 pares de teste de frases em português do Brasil, avaliados por pessoas de 1 a 5.
• Pontue-os com TF-IDF e dois modelos do sentence-transformers, meça quanto cada um acompanha a nota humana e leia onde discordam.
• Depois busque, agrupe e desenhe as 3.659 frases distintas.
• Baixe o notebook do lab e abra no Jupyter ou no Colab; no Colab, rode !pip install sentence-transformers antes.

Downloads dos modelos: cerca de 90 MB e 470 MB; uma GPU do Colab faz o lab em poucos segundos.