El caché de prompts es una función de algunas API de IA que guarda el trabajo hecho sobre el comienzo de una entrada para reusarlo. Si el pedido siguiente empieza exactamente igual, esa parte se cobra más barata y se procesa más rápido. Ahorra cuando muchas consultas comparten instrucciones o documentos largos.
Una pregunta de la app. Elige una respuesta.
Cada pedido de tu app empieza con las mismas instrucciones. ¿Qué hace el caché de prompts?
Eso es historial en tu equipo. El caché de prompts vive en el servicio y guarda el trabajo hecho con el comienzo repetido de los pedidos.
Si un pedido empieza igual que uno reciente, el servicio reusa lo que ya calculó para ese comienzo y cobra esos tokens más barato. Guardarlo puede costar algo.
Eso sería guardar respuestas, y no serviría con preguntas distintas. El caché de prompts guarda el comienzo del pedido: el modelo igual responde cada vez.
Antes de responder, el modelo procesa la entrada completa, todos sus tokens juntos; lo que sale de a un token es la respuesta. Si mil pedidos empiezan con las mismas instrucciones, procesarlas mil veces es trabajo repetido. Con el caché, el proveedor guarda ese resultado intermedio un rato y lo reusa cuando llega un pedido con el mismo comienzo.
No guarda respuestas. El modelo escribe una respuesta nueva cada vez, así que la salida se paga igual y la calidad no cambia. Lo que baja es el costo de la parte repetida de la entrada y el tiempo hasta la primera palabra.
Tarifas inventadas: la entrada normal cuesta 1 USD por millón de tokens y la leída del caché, 0,10 USD. Una app de soporte manda en cada pedido un manual de 5.000 tokens más la pregunta del cliente, de unos 100. Con mil preguntas al día, sin caché envías 5,1 millones de tokens: 5,10 USD. Con caché, el manual se cobra a la tarifa baja (0,50 USD) y las preguntas a la normal (0,10 USD): 0,60 USD.
Es un caso ideal: supone que todas las preguntas encuentran el caché y no cuenta la salida. En la práctica, algunos proveedores cobran un poco más la primera vez que se guarda, y cada uno tiene sus propias tarifas. El ahorro real depende de cuántos pedidos reusan el mismo comienzo. Para ver cómo se arma la cuenta completa, mira la otra página.
El caché sirve sólo para el comienzo del prompt, y ese comienzo tiene que ser idéntico, carácter por carácter. Por eso el orden importa: primero lo fijo (instrucciones, documentos, ejemplos) y al final lo que cambia (la pregunta del usuario).
Error común: poner al principio «Hoy es lunes 3, 14:05» o «Hola, Mariana». Cambia una letra y todo lo que viene después deja de coincidir. Otro caso: si tu app traduce sus instrucciones al español, al inglés y al portugués, cada idioma es un comienzo distinto con su propio caché. Con poco tráfico en un idioma, ese caché puede vencer antes de reusarse.
Si el comienzo repetido es corto, muchos proveedores ni lo guardan: suele haber un mínimo de tokens. Si los pedidos llegan muy espaciados, el caché vence (suele durar minutos sin uso) y pagas de nuevo la entrada completa. Y algunas API lo aplican solas mientras que otras piden marcar qué parte guardar: revisa la documentación del proveedor antes de contar con el ahorro. Y al cambiar de modelo no reutilizas el caché del anterior. El otro puede tener uno propio. Compara el costo total: cambiar todavía puede salir más barato.