Una probabilidad está calibrada cuando coincide con lo que pasa en muchos casos comparables: en muchas predicciones comparables con probabilidad 0,8, esa opción corresponde al resultado real cerca del 80 % de las veces. Se mide en grupos, así que no promete nada sobre una respuesta sola. Vale para cualquier modelo que clasifica.
Una pregunta de la app. Elige una respuesta.
Jev es un modelo de IA que no escribe: elige una opción o puntúa, con probabilidades.
Probabilidades bien calibradas en tus pruebas. 200 tickets con 0,7: ¿cuántos aciertan?
Calibrada quiere decir que, de muchos casos con 0,7, acierta cerca del 70 %. Vale para la probabilidad, no para la confianza, y no dice cuáles fallan.
Ser la más probable no la vuelve segura. Con 0,7 bien calibrado, cerca de 3 de cada 10 de esos casos fallan: unos 60 de 200.
Con tres áreas, empate sería 0,33 cada una; 0,7 es una opción bien adelante. Calibrada, acierta cerca del 70 %: unos 140 de 200.
Si un modelo bien calibrado asigna 0,8 a una opción en muchas predicciones comparables, esa opción corresponde al resultado real cerca del 80 % de las veces. Eso no quiere decir que de un lote de 100 salgan exactamente 80, ni que este caso en particular salga bien: más o menos uno de cada cinco falla, y no sabes cuál.
Tampoco te asegura que el modelo esté calibrado con tus datos. Eso se comprueba probando con casos reales tuyos.
En una prueba, un modelo que decide leyó «Mañana está nublado.» y a «Va a llover.» le dio 0,29. Es más no que sí, pero no un no firme como un 0,03. Si lo redondeas a sí o no, pierdes esa diferencia.
Qué hacer con los números del medio (actuar, confirmar o pasarle el caso a una persona) lo decides tú, según lo que cuesta equivocarse.
Algunos modelos, además de las probabilidades, dan un indicador de confianza. En Jev, la confianza de una pregunta de opciones se calcula con la opción más probable y la cantidad de opciones: vale 0 cuando el reparto es parejo y 1 cuando toda la probabilidad está en una opción, lo que no garantiza acierto. Una confianza de 0,8 no significa «80 % de acierto»: dice qué tan concentradas están las probabilidades. Otros modelos la calculan distinto, así que el mismo número no quiere decir lo mismo en todos.
Un ejemplo con tres opciones: (0,6; 0,3; 0,1) y (0,6; 0,2; 0,2) dan la misma confianza, 0,4. Y en las preguntas de sí o no de Jev no hay confianza aparte: un 0,03 es un «no» firme, no una duda. La duda está cerca de 0,5.
Con esos números puedes decidir qué hace tu sistema. Un patrón que propone TypeSafe usa tres rangos: alta, el sistema actúa solo; media, actúa con cuidado, confirmando o revisando; baja, no actúa y pasa el caso a una persona o pide una aclaración.
Dónde poner cada corte depende de lo que cuesta equivocarse. En la misma app de un banco, mostrar un saldo puede pedir menos que aprobar una transferencia. En el ejemplo de la página Confidence de TypeSafe, las transferencias se confirman con el usuario incluso con confianza mayor a 0,9. Empieza conservador, prueba con tus datos y ajusta.
Cualquier clasificador de machine learning que devuelva probabilidades se puede mirar así: un filtro de spam, un detector de fraude, uno que adivina el idioma de un texto. Jev pone la calibración en el centro: TypeSafe dice que lo entrena para eso, con un método que llama RLCD (reinforcement learning for calibrated decisions).