A temperatura é um ajuste que muda quanto acaso um modelo de IA usa ao escolher o próximo token, o pedaço de texto que vem depois. Ao baixá-la, as opções prováveis ganham mais peso e as respostas variam menos. Ao subi-la, as menos prováveis ganham mais chances. Muda a variedade, mas não garante acerto.
O gato subiu no ?
Uma pergunta do app. Escolha uma resposta.
Ao completar "O gato subiu no...", o que o modelo prevê?
Não guarda uma palavra por frase: calcula probabilidades e, conforme a configuração, pode escolher telhado, muro ou sofá.
Prevê probabilidades do próximo token. A configuração determina a escolha; aqui usamos palavras de exemplo.
Não procura: calcula o que costuma vir depois a partir do que aprendeu.
Peça a um chat "um nome para a minha padaria" e depois aperte "gerar de novo": pode sair outro. Não é que tenha esquecido a primeira resposta nem que mudou de ideia. Quando o modelo escolhe por sorteio, pode seguir outro caminho, e a temperatura decide quão viciados estão os dados.
Um modelo de linguagem escreve um token por vez. Para completar "O gato subiu no..." ele calcula probabilidades: telhado 45 %, muro 30 %, sofá 20 %, teorema 1 % e o resto dividido entre outras (números de exemplo). Depois precisa escolher um, e é aí que entra a temperatura.
Com temperatura baixa, a distribuição pende para o favorito: telhado sai muito mais vezes. Com temperatura alta, a distribuição fica mais equilibrada: muro e sofá saem mais, e até teorema tem sua chance. Como cada palavra escolhida muda o que vem depois, uma diferença pequena no começo pode terminar em duas respostas diferentes.
Comece com o valor que o provedor recomenda para esse modelo. Se você quer respostas que variem menos, como tirar dados de uma nota fiscal ou classificar mensagens, experimente baixar. Se busca variedade, como dez títulos diferentes para um post, experimente subir. E se precisa de um JSON com formato fixo, use saídas estruturadas: a temperatura não garante o formato.
No app de um chat normalmente você não consegue mudar: a empresa já escolheu um valor. Onde você ajusta é na API, como mais um parâmetro do pedido. A faixa e o valor padrão mudam conforme o provedor, e alguns modelos de raciocínio não aceitam ou fixam por conta própria: confira a documentação do modelo que você usa.
{
"model": "example-model",
"temperature": 0.2,
"messages": [
{ "role": "user", "content": "Sort this message: billing, support or sales" }
]
}"Com temperatura 0 ele sempre responde igual." Fica bem parecido, mas muitos provedores não garantem: se você precisa do mesmo resultado sempre, guarde-o. "Temperatura baixa evita que ele invente." Não: se o mais provável é um dado falso, ele vai repetir com toda a segurança; isso é uma alucinação e se combate com boas fontes. "Mais alta é mais criativa." Até certo ponto: alta demais e o texto perde o fio.