Um benchmark de IA é uma prova fixa, com perguntas ou tarefas de resposta conhecida, aplicada a vários modelos para compará-los com a mesma régua. O resultado costuma ser uma porcentagem de acertos. Serve para ter uma ideia rápida, mas mede essas tarefas, não necessariamente a sua.
Uma pergunta do app. Escolha uma resposta.
Uma tabela de testes diz que A é melhor. Como você escolhe para sua tarefa?
Essa tabela mede outras tarefas: pode não refletir a sua.
O preço não garante que renda melhor na sua tarefa. Confira.
Seus casos dizem quantas tentativas cada um precisa e quanto custa cada tarefa resolvida.
A palavra é usada em outros lugares. Em negócios, fazer benchmarking é se comparar com a concorrência para copiar o que funciona. Em computadores e celulares, um benchmark é um teste de velocidade do processador ou da placa de vídeo. Esta página é sobre o da inteligência artificial: a prova aplicada a um modelo de IA.
Alguém monta centenas ou milhares de perguntas com a resposta certa: problemas de matemática, perguntas de medicina, erros de código para corrigir, tarefas num terminal. Cada modelo responde as mesmas, nas mesmas condições, e se conta quantas acerta. Por isso cada lançamento traz uma tabela: "nosso modelo tira 80% onde o outro tira 74%".
Primeiro, mede outras tarefas: ser o melhor em problemas de olimpíada não diz como ele lê suas notas fiscais. Segundo, as perguntas de um benchmark antigo podem ter ido parar nos dados de treinamento, e aí o modelo lembra em vez de raciocinar. Terceiro, o número do lançamento é medido pelo próprio provedor, com a configuração dele: mais effort, várias tentativas ou instruções sob medida.
E quando todos os modelos chegam perto do teto, o benchmark já não separa ninguém. Por isso surgem benchmarks novos a cada poucos meses.
Use como filtro, não como veredito: ele diz quais dois ou três modelos vale a pena testar. Depois, monte vinte ou trinta casos reais da sua tarefa, com a resposta que você espera, e rode em cada um. Conte acertos, tentativas e quanto custa cada tarefa bem resolvida. Esse é o seu benchmark, e é o único que mede o que importa para você.