Son las dos etapas de la vida de un modelo de IA. En el entrenamiento, el modelo ajusta sus parámetros con un dataset hasta aprender patrones; puede tener varias etapas y repetirse para actualizarlo. En la inferencia, el modelo ya entrenado responde a cada pedido con lo que aprendió, sin volver a aprender.
Una pregunta de la app. Elige una respuesta.
Un modelo salió la semana pasada. ¿Sabe lo que pasó ayer?
Responder no cambia lo que aprendió. Su entrenamiento terminó en una fecha de corte, anterior a su salida.
Aprendió hasta una fecha de corte, anterior a su salida. Lo de ayer lo sabe si lo busca en fuentes actuales o si se lo das tú.
Darle la fecha no le agrega lo que no aprendió. Lo reciente tiene que llegarle como texto: una búsqueda o la noticia que le pegas.
Piensa en un estudiante. Entrenar es estudiar todo el año: lleva meses y mucho esfuerzo. La inferencia es rendir cada examen: responde rápido con lo que ya sabe. En machine learning pasa igual: preentrenar un LLM grande desde cero pide mucho cómputo especializado; después, cada vez que le escribes, el modelo hace una inferencia en segundos.
Entrenar desde cero es caro y se hace pocas veces. La inferencia consume cómputo en cada uso; muchas APIs cobran por los tokens de entrada y de salida.
Es el conjunto de ejemplos del que aprende el modelo. Para un modelo de lenguaje, son enormes cantidades de texto: páginas web, libros, código. Durante el entrenamiento, el modelo ajusta sus parámetros (sus pesos) para predecir mejor ese texto. Aprende patrones de esos ejemplos y los aplica a casos nuevos. Lo que pasó después, no lo sabe.
El dataset se arma hasta un día, la fecha de corte, y después viene el entrenamiento, las pruebas y el lanzamiento. Por eso la fecha de lanzamiento no te dice hasta cuándo llegan sus datos: busca la fecha de corte que declara el proveedor. Usarlo no lo actualiza: en la inferencia sus pesos no cambian.
Para que sepa algo reciente, hay que pasárselo como texto en el prompt: una búsqueda en internet, la noticia que pegas o documentos que trae un sistema de RAG. Le sirve mientras siga en el contexto, pero no queda grabado en sus pesos.
«El chat aprende de lo que le digo.» Durante la conversación no cambian sus pesos; si una app «recuerda» cosas, las guarda como texto aparte y se las vuelve a pasar. «Decirle la fecha de hoy lo pone al día.» Sabe la fecha, no lo que pasó. «Para enseñarle algo nuevo hay que reentrenarlo.» Muchas veces alcanza con pasarle la información; el fine-tuning sirve más para el estilo o el formato que para datos que cambian.