Un benchmark de IA es un examen fijo, con preguntas o tareas de respuesta conocida, que se le toma a varios modelos para compararlos con la misma vara. El resultado suele ser un porcentaje de aciertos. Sirve para tener una idea rápida, pero mide esas tareas, no necesariamente la tuya.
Una pregunta de la app. Elige una respuesta.
Una tabla de pruebas dice que A es mejor. ¿Cómo eliges para tu tarea?
Esa tabla mide otras tareas: puede no reflejar la tuya.
El precio no garantiza que rinda mejor en tu tarea. Se comprueba.
Tus casos dicen cuántos intentos necesita cada uno y cuánto cuesta cada tarea resuelta.
La palabra se usa en otros lados. En negocios, hacer benchmarking es compararte con la competencia para copiar lo que funciona. En computadoras y celulares, un benchmark es una prueba de velocidad del procesador o de la placa de video. Esta página es sobre el de la inteligencia artificial: la prueba que se le toma a un modelo de IA.
Alguien arma cientos o miles de preguntas con su respuesta correcta: problemas de matemática, preguntas de medicina, errores de código para arreglar, tareas en una terminal. Cada modelo responde las mismas, en las mismas condiciones, y se cuenta cuántas acierta. Por eso cada lanzamiento trae una tabla: «nuestro modelo saca 80 % donde el otro saca 74 %».
Primero, mide otras tareas: ser el mejor resolviendo problemas de olimpíada no dice cómo lee tus facturas. Segundo, las preguntas de un benchmark viejo pueden haber terminado en los datos de entrenamiento, y entonces el modelo recuerda en lugar de razonar. Tercero, la cifra del lanzamiento la mide el propio proveedor, con su configuración: más effort, varios intentos o instrucciones a medida.
Y cuando todos los modelos se acercan al techo, el benchmark ya no separa a nadie. Por eso aparecen benchmarks nuevos cada pocos meses.
Úsalo como filtro, no como veredicto: te dice qué dos o tres modelos vale la pena probar. Después, arma veinte o treinta casos reales de tu tarea, con la respuesta que esperas, y córrelos en cada uno. Cuenta aciertos, intentos y cuánto cuesta cada tarea bien resuelta. Ese es tu benchmark, y es el único que mide lo que te importa.