RAG (generación aumentada por recuperación) es una técnica en la que, antes de responder, el sistema busca en tus documentos los fragmentos que más se parecen a la pregunta y se los pasa al modelo junto con ella. El modelo responde con ese texto a la vista. Así inventa menos, aunque no deja de equivocarse.
Una pregunta de la app. Elige una respuesta.
El bot de una tienda lee sus PDF al día, pero te da un precio viejo. ¿Por qué?
Los precios de una tienda no vienen del entrenamiento: el bot los lee de sus archivos cuando le preguntas.
Antes de responder busca fragmentos en los documentos. Si trae la lista del año pasado, responde con ella, y con toda calma.
Tener el texto a mano baja mucho lo inventado. Cuando falla, muchas veces es porque buscó mal, no porque no buscó.
Antes de cualquier pregunta: los documentos se cortan en fragmentos y de cada uno se calculan sus embeddings, unos números que representan su significado. Eso se guarda.
Cuando llega una pregunta: se calcula su embedding, se buscan los fragmentos más cercanos, se pegan en el contexto junto con la pregunta y el modelo responde. El modelo no aprendió nada nuevo: lee esos fragmentos en el momento, como si se los pegaras tú en el chat.
La ventana de contexto tiene un límite, y cada token que entra se paga y se procesa. Cien PDF no entran en una pregunta, y aunque entraran, mandarlos enteros cada vez sería caro y lento. RAG manda solo lo que parece útil para esa pregunta.
Una distribuidora carga su catálogo, sus condiciones de envío y sus horarios, y conecta un bot a WhatsApp. Cuando alguien pregunta «¿hacen envíos al interior?», el bot busca en esos archivos y responde con lo que dicen, no con lo que suena probable. Para un negocio chico es la forma más directa de tener un asistente que conoce sus datos sin entrenar ningún modelo.
«Con RAG ya no alucina.» Inventa menos, pero puede traer el fragmento equivocado, mezclar dos o completar con lo probable cuando lo que buscas no está en los documentos: sigue siendo una alucinación. «Si cita la fuente, está bien.» Puede citar un documento que no dice eso: abre la cita. «RAG entrena al modelo con mis datos.» No lo cambia: tus documentos se leen en cada pregunta, y para actualizar basta con cambiar el archivo y recalcular sus embeddings.