Las evals (evaluaciones) son las pruebas con que mides si un modelo de IA, o un sistema que lo usa, hace bien tu tarea. Tienen dos partes: un conjunto de casos, cada uno con la respuesta esperada o un criterio, y una forma de puntuar. Se vuelven a correr cada vez que cambias de modelo, de prompt o de proveedor.
Una pregunta de la app. Elige una respuesta.
Pasaste a un modelo más barato y la cuenta bajó. ¿Y ahora?
Ahorrar puede empeorar el resultado sin que se note en la factura.
Con tus casos ves si la baja valió la pena o si hubo que pagar con peores respuestas.
El tope controla el total, no mide la calidad. Son dos cosas distintas.
Depende de la tarea. Si la IA clasifica reclamos en «envío», «pago» o «producto», alcanza con comparar contra la respuesta esperada. Si tiene que devolver datos, se chequean reglas: el JSON es válido, trae el número de pedido, no pasa de 50 palabras.
Para respuestas abiertas, como un resumen, se usa otra IA como juez con una lista de criterios, o una persona que lee y pone nota. El juez automático es rápido y barato, pero también se equivoca: conviene revisar a mano una parte.
En programación, los tests se corren cada vez que cambias el código. Las evals cumplen ese papel cuando cambias de modelo, de prompt o de proveedor. Ejemplo: pasas a un modelo más barato y la factura baja. Corres las evals y ves si los aciertos siguen en 92 de cada 100 o cayeron a 80. Recién ahí sabes si ahorraste de verdad.
Una diferencia: el mismo modelo puede responder distinto a la misma pregunta. Por eso el resultado suele ser un porcentaje y no un «pasa o falla», y a veces cada caso se corre más de una vez.
Un benchmark es un examen fijo que se le toma igual a varios modelos para compararlos. Las evals son la práctica más amplia de medir si tu sistema (modelo, prompt, datos y herramientas) funciona para lo que necesitas. Un benchmark puede ser una de las piezas de una evaluación, junto con tus casos y la forma de puntuarlos.
«Lo probé con tres preguntas y anduvo.» Pocos casos y fáciles no dicen nada: suma los difíciles y los que ya fallaron alguna vez. «El juez IA es objetivo.» Tiene sus propios sesgos; compáralo con una persona. «Ya lo evalué una vez.» Si cambia el modelo, el prompt o los datos, hay que volver a correrlas.