O processamento em lote, ou batch, é uma opção de algumas APIs de IA em que você envia muitas consultas juntas e o provedor as roda quando sobra capacidade. Os resultados voltam em horas, não na hora, e em troca custa menos. Serve para trabalhos grandes em que ninguém espera a resposta.
Uma pergunta do app. Escolha uma resposta.
Para que trabalho serve o modo batch (lote)?
O lote não responde na hora, e um chat ao vivo precisa da resposta já.
O lote cobra menos em troca de não responder na hora. Serve se você pode esperar; confira o prazo do serviço.
Agora é o oposto de lote: não responde na hora. A economia se paga com espera.
Em vez de mandar uma consulta e esperar a resposta, você prepara um arquivo com todas as consultas e o envia em um único pedido à API. O provedor processa em segundo plano, quando seus servidores estão menos ocupados, e mais tarde você baixa os resultados. O provedor costuma fixar um prazo máximo, por exemplo de 24 horas, embora muitas vezes termine antes.
Tarifas inventadas: a entrada normal custa 1 USD por milhão de tokens e no modo batch, 0,50 USD. Você quer classificar 50.000 avaliações de uns 200 tokens cada: são 10 milhões de tokens de entrada. No modo normal, 10 USD; em batch, 5 USD. A saída também fica mais barata neste exemplo. Os descontos reais são definidos por cada provedor, e podem não valer para todos os modelos.
É uma economia paga com espera. Pode somar com o cache de prompts, mas cada provedor decide se os dois podem ser combinados, então confira as regras.
Serve para classificar avaliações, resumir milhares de documentos, traduzir um catálogo ou avaliar um modelo contra muitos exemplos: trabalho grande que pode esperar. Não serve para um chat ao vivo nem para nada que precise da resposta já, porque o resultado pode levar horas. Também não é boa ideia para um pedido urgente ou que você vai ajustar no meio do caminho.
Antes de mandar o lote inteiro, teste com poucas consultas: um erro nas instruções se repete nas 50.000. Para ver tudo o que mexe na conta, veja a outra página.