Un LLM (large language model, modelo de lenguaje grande) es un modelo de IA entrenado con enormes cantidades de texto para generar texto. Es lo que hay detrás de ChatGPT, Claude o Gemini. Funciona calculando probabilidades para el próximo token, eligiendo uno, agregándolo y repitiendo. Así escribe respuestas, resúmenes o código.
El gato se subió al techo
7 tokensUna pregunta de la app. Elige una respuesta.
¿Cómo genera texto un modelo que predice el siguiente token?
Predice el siguiente token, lo agrega y vuelve a predecir. Así hasta terminar.
En este modelo, cada token generado ayuda a predecir el siguiente. La app decide cómo mostrar el texto.
Genera tokens; no se limita a elegir respuestas de una lista. Puede repetir texto de sus datos.
LLM viene del inglés large language model. «Lenguaje» porque trabaja con texto. «Modelo» porque es un sistema de cálculo entrenado, no una base de datos de respuestas. «Grande» porque tiene muchísimos parámetros y se entrenó con muchísimo texto. No hay una cifra oficial a partir de la cual un modelo pasa a ser «grande»: es una etiqueta, no una medida.
Si le das «El gato se subió al», el LLM calcula probabilidades para lo que sigue. Con números de ejemplo: techo 45 %, muro 30 %, sofá 20 %, teorema 1 %. Elige uno según su configuración, lo agrega al texto y vuelve a calcular con la frase más larga. Una respuesta de tres párrafos son cientos de esas vueltas.
Para predecir no mira sólo la última palabra: mira todo lo que tiene a la vista, tu mensaje y lo que ya escribió, hasta un límite llamado ventana de contexto. Por eso la misma pregunta, con más contexto, suele dar una respuesta mejor.
Primero, el preentrenamiento: el modelo lee muchísimo texto y practica adivinar el próximo token. Cada error ajusta un poco sus parámetros, miles de millones de veces. Después, el ajuste fino: con ejemplos de conversaciones y con personas que califican respuestas, aprende a seguir instrucciones y a contestar como asistente. Eso pasa antes de que lo uses: charlar con él no cambia el modelo, lo que «recuerda» de la charla está en su ventana de contexto.
GPT, de OpenAI, es el que usa ChatGPT. Claude es de Anthropic, Gemini es de Google y Llama es de Meta, que publica sus pesos para que cualquiera lo corra como modelo local. En Brasil, la startup Maritaca AI hace Sabiá, entrenado con foco en portugués. Ojo: ChatGPT es la app y GPT el modelo; una misma app puede cambiar de modelo.
La IA generativa es el paraguas: toda IA que crea contenido, sea texto, imágenes, audio o video. El LLM es la parte que trabaja con texto (y código). Un generador de imágenes es IA generativa pero no es un LLM. Muchos modelos de hoy mezclan las dos cosas: leen fotos y escriben texto.
Un LLM no busca la respuesta en internet a menos que la app le dé esa herramienta: escribe lo que suele venir después según lo que aprendió. Una frase puede sonar perfecta y ser falsa. Pídele el horario del último subte o metro de tu ciudad y puede darte un horario con total seguridad sin tener ese dato. A eso se le llama alucinación.
Muchos tokenizadores se armaron con más texto en inglés que en otros idiomas. Por eso la misma frase en español o en portugués suele cortarse en más tokens, como «subió» o «telhado», partidos en dos. Pesa en dos lugares: las APIs cobran por token, casi siempre en dólares, y la ventana de contexto se llena antes.
«LLM e IA son lo mismo.» Un LLM es un tipo de IA; el filtro de spam o el reconocimiento de caras también son IA y no son LLM. «Tiene las respuestas guardadas.» No: las genera token por token cada vez. «Si se equivoca, es que está roto.» Inventar es un efecto de cómo funciona, no una avería.