Tokens de raciocínio são o texto intermediário que um modelo de raciocínio gera antes de dar a resposta final. Muitas vezes não aparecem, mas são produzidos do mesmo jeito e cobrados como tokens de saída. Por isso uma resposta curta pode custar bem mais do que o que você vê na tela.
Uma pergunta do app. Escolha uma resposta.
Raciocina 2000 tokens e mostra 300. Quantos tokens de saída são cobrados?
São os visíveis. O rascunho também é gerado e cobrado como saída, mesmo oculto.
O raciocínio conta como saída mesmo oculto: 2000 + 300 = 2300.
A resposta visível também é saída: 2000 + 300 = 2300.
Um modelo de raciocínio escreve passos intermediários e depois a resposta. Muitos serviços escondem ou resumem esses passos, mas o trabalho já foi feito: são tokens que o modelo gerou, e o que o modelo gera é saída. Como cada serviço os conta e mostra varia, então confira a documentação.
Tarifa inventada: 4 USD por milhão de tokens de saída. Um modelo raciocina 2.000 tokens e mostra uma resposta de 300. São cobrados 2.300 tokens, não 300: 2.300 × 4 ÷ 1.000.000 = 0,0092 USD. Mil consultas assim seriam uns 9,20 USD. Se só os 300 visíveis contassem, seriam 1,20 USD.
A tarifa real é definida por cada provedor e muda com o tempo; o que importa no exemplo é a proporção. E a saída costuma ter tarifa mais alta que a entrada, então o rascunho pesa na conta.
O rascunho cresce ou encolhe conforme o effort e a dificuldade da tarefa, mas nenhum dos dois fixa uma quantidade exata. Muitas APIs permitem limitar a saída total, e esse limite inclui o raciocínio. Se você o põe muito baixo, o modelo pode ficar sem espaço antes de responder. Meça com seus casos e confira o uso real informado pelo provedor.