La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo de IA puede tener en cuenta a la vez: tus mensajes, sus respuestas, las instrucciones y los documentos que le pases. Lo que queda fuera de esa ventana, para el modelo no existe. Por eso en una charla larga parece olvidar lo del principio.
Una pregunta de la app. Elige una respuesta.
¿Qué mira para predecir lo que sigue?
Mira mucho más: todo el texto que entra en su ventana de contexto.
Si se usa azar, está guiado por probabilidades calculadas a partir del contexto.
Tu mensaje y lo que ya escribió, hasta un límite llamado ventana de contexto. Por eso el contexto importa.
El modelo no guarda recuerdos entre un mensaje y otro. En cada respuesta, la app le vuelve a mandar la conversación junto con tu mensaje nuevo. Mientras todo entra en la ventana, parece que recuerda. Cuando la charla crece y no entra, la app suele recortar lo más viejo o reemplazarlo por un resumen.
Un ejemplo: al principio le dices al asistente de una panadería que eres celíaco. Cuarenta mensajes después le pides que te recomiende un pan y te sugiere uno con gluten. Una causa posible: ese dato quedó fuera de la ventana. También puede fallar aunque siga adentro, pero en una charla larga es lo primero que conviene sospechar.
No sólo tus mensajes. También cuentan las instrucciones que la app le da al modelo (que no ves), los archivos que adjuntas, los fragmentos que trae una búsqueda con RAG y la respuesta que el modelo está escribiendo. Todo comparte el mismo espacio, y elegir qué entra es la ingeniería de contexto.
Con números de ejemplo: si la ventana fuera de 8.000 tokens y pegas un contrato de 6.000, quedan unos 2.000 para las instrucciones, la charla y la respuesta. Por eso, después de pegar un documento largo, la IA puede perder antes el hilo de lo que hablaban.
Muchos tokenizadores parten el español en más pedazos que el inglés. La misma charla, escrita en español, suele ocupar más tokens y por lo tanto llena la ventana antes. Si notas que la IA olvida rápido, no siempre es el modelo: también pesa el idioma.
«Con una ventana enorme recuerda todo perfecto.» No siempre: en textos muy largos, muchos modelos prestan menos atención a lo que está en el medio. «La ventana es la memoria de la app.» Tampoco: algunas apps guardan notas aparte y las vuelven a mandar en cada mensaje, pero eso es otra pieza.
Qué hacer: si un dato es clave, repítelo cerca de tu pregunta. Si la charla ya es muy larga, pídele un resumen, abre un chat nuevo y empieza pegando ese resumen.