Sentence Embeddings

A maioria das tarefas é sobre textos, não palavras

O caminho desta parte

A resposta óbvia: a média dos vetores de palavras

À mão: \((0{,}418 + 0{,}308 + 0{,}087 - 0{,}027)/4 = 0{,}1965\). Não custa nada e não precisa de treino.

O que a média perde

Transformers, em um slide

• Um Transformer (Vaswani et al., 2017) lê a frase inteira de uma vez.
• Ele corta o texto em tokens de subpalavras (um vocabulário de cerca de 30.000 pedaços): nenhuma palavra fica fora do vocabulário.
• Em cada camada, o vetor de cada token é recalculado como uma mistura ponderada de todos os tokens (atenção).
• BERT (Bidirectional Encoder Representations from Transformers, Devlin et al., 2019): treinado para preencher palavras escondidas; um vetor contextual por token.

Embeddings are unbelievably useful → em · ##bed · ##ding · ##s · are · un · ##bel · ##ie · ##va · ##bly · useful

Uma palavra, vários vetores

Sentence-BERT: treinado para comparar frases

Mean pooling: a média dos vetores dos tokens, cada um já carregando seu contexto.

O Sentence-BERT (Reimers & Gurevych, 2019) acrescenta um treino: cosseno alto para pares que significam o mesmo, baixo para os que não.

Um bi-encoder: cada frase é codificada separadamente, então uma coleção é codificada uma vez e guardada.

Usando o sentence-transformers

E = model.encode(["the movie was great", "the film was excellent",
                  "the stock market fell sharply today"], normalize_embeddings=True)
E @ E.T     # com linhas de comprimento 1, o produto escalar é o cosseno
  

A média do GloVe dava 0,96 contra 0,66: agora a escala é usada de baixo a cima.

Três representações, os mesmos pares

TF-IDF (frequência do termo × frequência inversa nos documentos), média dos vetores GloVe e Sentence-BERT (SBERT) em oito pares, cada um testando uma propriedade:

Antes do próximo slide: em qual coluna você confiaria para separar relacionado de não relacionado?

Lendo a tabela

Outras línguas

Busca semântica é k vizinhos mais próximos

Codifique a coleção uma vez; para cada consulta, um produto de matrizes dá todos os cossenos. Sem rótulos e sem previsão: só achar vizinhos.

Um FAQ em português, oito entradas

Simulador: embeddings vs TF-IDF

Preveja. Para a consulta "erro 402", qual ranking ganha, embeddings ou TF-IDF? Depois digite sua própria consulta.

O que o simulador mostra

Resumo

1. A média dos vetores de palavras é de graça, mas cega à ordem e à negação: tudo parece igual.
2. Um Transformer dá a cada token um vetor contextual: dois "banks", dois vetores.
3. Sentence-BERT: agregado e treinado para que o cosseno acompanhe o significado, na escala inteira.
4. Escolha um modelo treinado na sua língua.
5. Busca semântica = vizinhos mais próximos; confira negação, notas baixas e próximas e tokens raros exatos.

Similaridade de frases em português, passos 1 a 5

• ASSIN 2 (Avaliação de Similaridade Semântica e Inferência Textual): 2.448 pares de teste em português do Brasil, avaliados por pessoas de 1 a 5.
• Pontue-os com TF-IDF e dois modelos do sentence-transformers, meça quanto cada um acompanha a nota humana (Spearman), leia onde discordam e busque nas 3.659 frases.
• Baixe o notebook do lab e abra no Colab ou no Jupyter; no Colab, rode !pip install sentence-transformers antes.
• Simulações: TF-IDF com pedaços de palavras (passo 2) e quanto vem do contexto? (passo 3).

Ritmo: passos 1 e 2 e a primeira simulação em 12 min; passo 3 e a segunda em 10 min; passos 4 e 5 em 13 min.