Evals (avaliações) são os testes com que você mede se um modelo de IA, ou um sistema que o usa, faz bem a sua tarefa. Têm duas partes: um conjunto de casos, cada um com a resposta esperada ou um critério, e uma forma de pontuar. Rodam de novo toda vez que você troca de modelo, de prompt ou de provedor.
Uma pergunta do app. Escolha uma resposta.
Você passou a um modelo mais barato e a conta caiu. E agora?
Economizar pode piorar o resultado sem que apareça na fatura.
Com seus casos você vê se a queda valeu ou se saiu ao custo de respostas piores.
O limite controla o total, não mede a qualidade. São duas coisas diferentes.
Depende da tarefa. Se a IA classifica reclamações em "entrega", "pagamento" ou "produto", basta comparar com a resposta esperada. Se precisa devolver dados, você confere regras: o JSON é válido, traz o número do pedido, não passa de 50 palavras.
Para respostas abertas, como um resumo, se usa outra IA como juiz com uma lista de critérios, ou uma pessoa que lê e dá nota. O juiz automático é rápido e barato, mas também erra: vale revisar uma parte à mão.
Em programação, os testes rodam toda vez que você muda o código. As evals cumprem esse papel quando você troca de modelo, de prompt ou de provedor. Exemplo: você passa a um modelo mais barato e a fatura cai. Roda as evals e vê se os acertos continuam em 92 de cada 100 ou caíram para 80. Só aí você sabe se economizou de verdade.
Uma diferença: o mesmo modelo pode responder diferente à mesma pergunta. Por isso o resultado costuma ser uma porcentagem e não um "passa ou falha", e às vezes cada caso roda mais de uma vez.
Um benchmark é uma prova fixa aplicada igual a vários modelos para compará-los. As evals são a prática mais ampla de medir se o seu sistema (modelo, prompt, dados e ferramentas) funciona para o que você precisa. Um benchmark pode ser uma das peças de uma avaliação, junto com seus casos e a forma de pontuá-los.
"Testei com três perguntas e funcionou." Poucos casos e fáceis não dizem nada: some os difíceis e os que já falharam alguma vez. "O juiz IA é objetivo." Ele tem seus próprios vieses; compare com uma pessoa. "Já avaliei uma vez." Se mudam o modelo, o prompt ou os dados, é preciso rodar de novo.