La cuantización es guardar los pesos de un modelo de IA con menos bits, por ejemplo 8 o 4 en lugar de 16. Así el modelo ocupa menos memoria y puede correr en una computadora común, a cambio de algo de precisión. Tiene los mismos parámetros que antes: cada uno ocupa menos.
Una pregunta de la app. Elige una respuesta.
Tienes 8 GB de RAM libres y los pesos ocupan 16 GB a 16 bits. ¿Qué versión bajas?
Sólo los pesos ya pasan los 8 GB que tienes: no entra en la memoria.
Los pesos ocupan unos 8 GB: todo lo que tienes, sin lugar para correr el modelo ni para la conversación.
Cada peso con la cuarta parte de los bits: unos 4 GB. Queda lugar para correrlo y para la charla, a cambio de un poco de precisión.
Un modelo de IA es, en el fondo, una lista enorme de números: los pesos que la red neuronal aprendió al entrenarse. Un LLM tiene miles de millones. Lo habitual es guardar cada uno con 16 bits.
Cuantizar es redondear esos números para que entren en menos bits, como pasar de 3,14159 a 3,1. Cada peso queda un poco menos exacto, pero el modelo no pierde parámetros. Lo habitual es hacerlo después de entrenar.
Una cuenta aproximada: parámetros × bits ÷ 8 da los bytes. Un modelo de 10 mil millones de parámetros pide unos 20 GB a 16 bits, 10 GB a 8 bits y 5 GB a 4 bits. Esa es la cuenta de los pesos: el archivo trae algo más, y correr el modelo pide memoria extra, sobre todo en charlas largas.
Esa es la diferencia entre un modelo local que no arranca y uno que entra en la memoria de tu laptop. Lo mismo vale para la IA en el celular: los modelos que corren en el teléfono suelen estar cuantizados.
Al descargar un modelo en Ollama, LM Studio o Hugging Face, el mismo modelo aparece en varias versiones. En nombres como Q8, Q5 o Q4, el número indica más o menos los bits por peso; las letras que siguen (como K_M) son variantes del método. «8-bit» o «4-bit» dicen lo mismo, y FP16 o BF16 es la versión de 16 bits, sin cuantizar.
Una regla práctica: entre las versiones del mismo modelo, elige la de más bits que entre en tu memoria dejando lugar para la charla. Después prueba si la calidad te alcanza.
Depende del modelo y de la tarea. A 8 bits la pérdida suele ser poca, y a 4 bits suele alcanzar. Con menos bits, los errores aumentan. Pruébalo en tu idioma, con tus propias tareas.
«Cuantizado es lo mismo que un modelo más chico.» No: tiene los mismos parámetros, con menos bits cada uno. La destilación es otra cosa: entrena otro modelo con lo que le enseña uno más grande. Suele salir más chico, y ese también se puede cuantizar.
«Menos bits siempre es la peor opción.» Con la misma memoria, un modelo grande a 4 bits muchas veces rinde más que uno chico a 16.
«Es solo para usar en casa.» En la nube también se usa: servir con menos bits gasta menos hardware, y eso pesa en el costo de la IA.