El sobreajuste (overfitting) pasa cuando un modelo se ajusta demasiado a los detalles de sus ejemplos de entrenamiento, incluidas casualidades y errores. Rinde bien con lo que ya vio y peor con datos nuevos. El caso extremo es memorizar, como quien aprende de memoria las respuestas de un examen viejo y se pierde si cambian las preguntas.
Una pregunta de la app. Elige una respuesta.
Un modelo acierta con lo que estudió y falla con casos nuevos parecidos. ¿Qué pasó?
Es sobreajuste (overfitting): aprendió detalles de sus ejemplos que no sirven en casos nuevos. Memorizar las respuestas es el caso extremo.
Suele empeorarlo: más vueltas sobre los mismos ejemplos lo ajustan todavía más a ellos. Ayudan datos más variados y probar con datos aparte.
Un modelo no se cansa: al terminar, sus números quedan fijos. Falla porque se quedó con detalles de sus ejemplos que no se repiten en lo nuevo.
Antes de entrenar, se apartan datos con los que el modelo no aprende: los de validación, para decidir mientras entrena, y el conjunto de prueba, que se guarda para la evaluación final. Si con sus ejemplos acierta el 99 % y con los datos apartados el 70 %, esa distancia es la señal.
Un ejemplo: un filtro de spam entrenado con pocos correos. Por casualidad, varios spam venían de los martes, y el modelo aprende que «martes» significa spam. Con los correos de entrenamiento funciona perfecto; con los de la semana siguiente, manda a spam mensajes normales.
Más datos y más variados: si hay spam de todos los días, «martes» deja de parecer una pista. Un modelo más simple: con menos capacidad de memorizar, tiene que quedarse con lo general. Cortar a tiempo: se mide con los datos de validación mientras entrena y se frena cuando ahí deja de mejorar, aunque con los de entrenamiento siga subiendo. El conjunto de prueba no se toca hasta el final.
El subajuste (underfitting) es quedarse corto: el modelo es demasiado simple o entrenó muy poco y falla tanto con lo que vio como con lo nuevo. Como quien leyó el resumen de la contratapa y no sabe ni las respuestas del examen viejo. El buen machine learning busca el punto medio entre los dos.
«Si acierta casi todo en entrenamiento, es un buen modelo.» Lo que importa es cómo le va con datos que no vio. «Entrenar más vueltas lo arregla.» Con los mismos ejemplos, suele memorizarlos más. «Mis evals dan bien, así que generaliza.» Sólo si los casos de prueba no estaban en lo que el modelo usó para aprender.