RAG (geração aumentada por recuperação) é uma técnica em que, antes de responder, o sistema busca nos seus documentos os trechos que mais se parecem com a pergunta e os passa ao modelo junto com ela. O modelo responde com esse texto à vista. Assim inventa menos, embora ainda possa errar.
Uma pergunta do app. Escolha uma resposta.
O bot de uma loja lê os PDFs atualizados, mas dá um preço velho. Por quê?
Os preços de uma loja não vêm do treinamento: o bot lê nos arquivos na hora da pergunta.
Antes de responder, busca trechos nos documentos. Se puxa a lista do ano passado, responde com ela, e com toda a calma.
Ter o texto à mão reduz muito o que é inventado. Quando erra, muitas vezes é porque buscou mal, não porque não buscou.
Antes de qualquer pergunta: os documentos são cortados em trechos e de cada um se calcula o seu embedding, números que representam o significado. Isso fica guardado.
Quando chega uma pergunta: calcula-se o embedding dela, buscam-se os trechos mais próximos, eles são colocados no contexto junto com a pergunta e o modelo responde. O modelo não aprendeu nada novo: lê esses trechos na hora, como se você mesmo os colasse no chat.
A janela de contexto tem um limite, e cada token que entra é pago e processado. Cem PDFs não cabem numa pergunta, e mesmo que coubessem, mandar tudo inteiro toda vez seria caro e lento. O RAG manda só o que parece útil para aquela pergunta.
Uma distribuidora sobe o catálogo, as condições de entrega e os horários, e conecta um bot ao WhatsApp. Quando alguém pergunta "vocês entregam no interior?", o bot busca nesses arquivos e responde com o que eles dizem, não com o que soa provável. Para um negócio pequeno é o jeito mais direto de ter um assistente que conhece os seus dados sem treinar nenhum modelo.
"Com RAG não alucina mais." Inventa menos, mas pode puxar o trecho errado, misturar dois ou completar com o provável quando o que você procura não está nos documentos: continua sendo uma alucinação. "Se cita a fonte, está certo." Pode citar um documento que não diz aquilo: abra a citação. "RAG treina o modelo com meus dados." Não muda o modelo: seus documentos são lidos a cada pergunta, e para atualizar basta trocar o arquivo e recalcular os embeddings.