O cache de prompts é um recurso de algumas APIs de IA que guarda o trabalho feito sobre o começo de uma entrada para reaproveitá-lo. Se o pedido seguinte começa exatamente igual, essa parte é cobrada mais barato e processada mais rápido. Economiza quando muitas consultas compartilham instruções ou documentos longos.
Uma pergunta do app. Escolha uma resposta.
Seu app manda as mesmas instruções longas em cada pedido. O que faz o cache de prompts?
Isso é histórico no seu aparelho. O cache de prompts fica no serviço e guarda o trabalho já feito com o começo repetido dos pedidos.
Se um pedido começa igual a um recente, o serviço reusa o que já calculou para esse começo e cobra esses tokens mais barato. Guardar pode custar algo.
Isso seria guardar respostas, e não serviria para perguntas diferentes. O cache de prompts guarda o começo do pedido: o modelo responde toda vez.
Antes de responder, o modelo processa a entrada inteira, todos os tokens juntos; o que sai um token por vez é a resposta. Se mil pedidos começam com as mesmas instruções, processá-las mil vezes é trabalho repetido. Com o cache, o provedor guarda esse resultado intermediário por um tempo e reaproveita quando chega um pedido com o mesmo começo.
Não guarda respostas. O modelo escreve uma resposta nova a cada vez, então a saída custa o mesmo e a qualidade não muda. O que cai é o custo da parte repetida da entrada e o tempo até a primeira palavra.
Tarifas inventadas: a entrada normal custa 1 USD por milhão de tokens e a lida do cache, 0,10 USD. Um app de suporte manda em cada pedido um manual de 5.000 tokens mais a pergunta do cliente, de uns 100. Com mil perguntas por dia, sem cache você envia 5,1 milhões de tokens: 5,10 USD. Com cache, o manual é cobrado na tarifa baixa (0,50 USD) e as perguntas na normal (0,10 USD): 0,60 USD.
É um caso ideal: supõe que todas as perguntas encontram o cache e não conta a saída. Na prática, alguns provedores cobram um pouco mais na primeira vez que o cache é gravado, e cada um tem suas tarifas. A economia real depende de quantos pedidos reaproveitam o mesmo começo. Para ver como se monta a conta completa, veja a outra página.
O cache só serve para o começo do prompt, e esse começo tem que ser idêntico, caractere por caractere. Por isso a ordem importa: primeiro o fixo (instruções, documentos, exemplos) e no final o que muda (a pergunta do usuário).
Erro comum: colocar no início "Hoje é segunda, dia 3, 14h05" ou "Olá, Mariana". Muda uma letra e tudo o que vem depois deixa de coincidir. Outro caso: se o seu app traduz as instruções para português, espanhol e inglês, cada idioma é um começo diferente com o próprio cache. Com pouco tráfego em um idioma, esse cache pode expirar antes de ser reaproveitado.
Se o começo repetido é curto, muitos provedores nem o guardam: costuma haver um mínimo de tokens. Se os pedidos chegam muito espaçados, o cache expira (costuma durar minutos sem uso) e você paga de novo a entrada completa. E algumas APIs aplicam sozinhas enquanto outras pedem para marcar o que guardar: confira a documentação do provedor antes de contar com a economia. E, ao trocar de modelo, você não reaproveita o cache do anterior. O outro pode ter um próprio. Compare o custo total: trocar ainda pode sair mais barato.