Um embedding é uma lista de números que representa o significado de um texto. Quem calcula é um modelo, e textos com sentido parecido ficam perto uns dos outros mesmo usando outras palavras: "carro" e "automóvel" acabam juntos. Por isso servem para buscar pelo significado e são a base do RAG.
Uma pergunta do app. Escolha uma resposta.
Você busca "celular quebrado" na ajuda de uma loja e aparece "minha tela trincou". Como?
Não têm nenhuma palavra em comum. Ele juntou as duas pelo que significam, não por como se escrevem.
Um modelo de embeddings não escreve: transforma cada texto em números, e os de sentido parecido ficam perto. A busca traz os mais próximos.
Não é sorte: mede o quanto o sentido de cada texto se parece com a sua busca e ordena por isso.
Você dá um texto a um modelo de embeddings, que não escreve respostas: devolve centenas ou milhares de números. Nenhum deles se lê sozinho; o que importa é onde essa lista fica em comparação com outras. Pense num mapa com muitíssimas direções, onde cada texto é um ponto.
Para saber se dois textos se parecem, mede-se o quanto seus pontos estão perto. Perto quer dizer sentido parecido, mesmo sem nenhuma palavra em comum. Longe quer dizer que falam de outra coisa. Essa medida é todo o truque.
Busca pelo significado: a central de ajuda de uma loja encontra a resposta mesmo que a pergunta esteja escrita do seu jeito. Também servem para agrupar opiniões parecidas, detectar perguntas repetidas ou recomendar artigos parecidos.
E são o primeiro passo do RAG: seus documentos são cortados em trechos, cada um vira um embedding e, quando chega uma pergunta, os trechos mais próximos são buscados e passados ao modelo.
Em português, a mesma coisa muda de nome conforme o país: ônibus ou autocarro, geladeira ou frigorífico, celular ou telemóvel. Uma busca por palavras exatas se perde com isso. Uma com embeddings costuma encontrar mesmo assim, e com um modelo multilíngue uma pergunta em português pode achar um documento em inglês.
"O embedding entende o texto." Ele captura do que o texto fala, não se é verdade, e pode deixar perto frases opostas como "eu gosto" e "eu não gosto", porque falam da mesma coisa. "Os de um modelo servem em outro." Não: se você troca de modelo, recalcula tudo. "É a mesma coisa que um token." O token é um pedaço de texto; o embedding, os números que representam o seu sentido.