A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo de IA consegue considerar de uma vez: suas mensagens, as respostas dele, as instruções e os documentos que você enviar. O que fica fora dessa janela não existe para o modelo. Por isso, numa conversa longa, ele parece esquecer o começo.
Uma pergunta do app. Escolha uma resposta.
O que olha para prever o que vem depois?
Olha muito mais: todo o texto que cabe na sua janela de contexto.
Se houver acaso, ele é guiado por probabilidades calculadas a partir do contexto.
Sua mensagem e o que já escreveu, até um limite chamado janela de contexto. Por isso o contexto importa.
O modelo não guarda lembranças entre uma mensagem e outra. A cada resposta, o app manda de novo a conversa junto com a sua mensagem nova. Enquanto tudo cabe na janela, parece que ele lembra. Quando a conversa cresce demais, o app costuma cortar a parte mais antiga ou trocá-la por um resumo.
Um exemplo: no começo você conta ao assistente de uma padaria que é celíaco. Quarenta mensagens depois pede que ele recomende um pão e ele sugere um com glúten. Uma causa possível: esse dado ficou fora da janela. Também pode falhar mesmo com ele dentro, mas numa conversa longa é a primeira coisa a suspeitar.
Não só as suas mensagens. Também contam as instruções que o app dá ao modelo (que você não vê), os arquivos que você anexa, os trechos que uma busca com RAG traz e a resposta que o modelo está escrevendo. Tudo divide o mesmo espaço, e escolher o que entra é a engenharia de contexto.
Com números de exemplo: se a janela fosse de 8.000 tokens e você colasse um contrato de 6.000, sobrariam uns 2.000 para as instruções, a conversa e a resposta. Por isso, depois de colar um documento longo, a IA pode perder o fio da conversa mais cedo.
Muitos tokenizadores dividem o português em mais pedaços do que o inglês. A mesma conversa, escrita em português, costuma ocupar mais tokens e por isso enche a janela antes. Se a IA esquece rápido, nem sempre é o modelo: o idioma também pesa.
"Com uma janela enorme ela lembra tudo perfeitamente." Nem sempre: em textos muito longos, muitos modelos prestam menos atenção ao que está no meio. "A janela é a memória do app." Também não: alguns apps guardam notas à parte e as mandam de novo a cada mensagem, mas isso é outra peça.
O que fazer: se um dado é importante, repita perto da sua pergunta. Se a conversa já está muito longa, peça um resumo, abra um chat novo e comece colando esse resumo.