El procesamiento por lotes, o batch, es una opción de algunas API de IA donde envías muchas consultas juntas y el proveedor las corre cuando le sobra capacidad. Los resultados vuelven en horas, no al instante, y a cambio cuesta menos. Sirve para trabajos grandes en los que nadie espera la respuesta.
Una pregunta de la app. Elige una respuesta.
¿Para qué trabajo sirve el modo batch (lote)?
El lote no responde al instante, y un chat en vivo necesita la respuesta ya.
El lote cobra menos a cambio de no responder al instante. Sirve si puedes esperar; revisa el plazo del servicio.
Ahora es lo contrario de lote: no responde al instante. El ahorro se paga con espera.
En vez de mandar una consulta y esperar la respuesta, preparas un archivo con todas las consultas y lo envías en un solo pedido a la API. El proveedor lo procesa en segundo plano, cuando sus servidores están menos ocupados, y más tarde descargas los resultados. El proveedor suele fijar un plazo máximo, por ejemplo de 24 horas, aunque muchas veces termina antes.
Tarifas inventadas: la entrada normal cuesta 1 USD por millón de tokens y en modo batch, 0,50 USD. Quieres etiquetar 50.000 reseñas de unos 200 tokens cada una: son 10 millones de tokens de entrada. En modo normal, 10 USD; en batch, 5 USD. La salida también se abarata en este ejemplo. Los descuentos reales los define cada proveedor, y puede que no apliquen a todos los modelos.
Es un ahorro que se paga con espera. Se suma al que da el caché de prompts, pero cada proveedor decide si se pueden combinar, así que revisa sus reglas.
Sirve para etiquetar reseñas, resumir miles de documentos, traducir un catálogo o evaluar un modelo contra muchos ejemplos: trabajo grande que puede esperar. No sirve para un chat en vivo ni para nada que necesite la respuesta ya, porque el resultado puede tardar horas. Tampoco es buena idea para un pedido urgente o que vas a ajustar a mitad de camino.
Antes de mandar todo el lote, prueba con unas pocas consultas: un error en las instrucciones se repite en las 50.000. Para ver todo lo que mueve la cuenta, mira la otra página.