Un modelo local de IA es un modelo que descargas y ejecutas en tu propia computadora, en lugar de usarlo en los servidores de una empresa. Puede funcionar sin internet, y tus datos pueden quedarse en tu equipo si la app no los envía afuera. A cambio, lo que puedes correr depende de tu hardware.
Una pregunta de la app. Elige una respuesta.
¿Qué recurso necesita para alojar el modelo mientras lo usa?
Para alojar el modelo necesitas memoria en el equipo. Internet no reemplaza ese recurso.
Muchos modelos tienen pesos descargables gratis. Revisa su licencia de uso.
Necesita memoria de trabajo, como RAM o memoria de video. La cantidad depende del modelo y su formato.
Cuando usas un chat como ChatGPT, tu mensaje viaja a los servidores de la empresa, el modelo responde allá y la respuesta vuelve a tu pantalla. Con un modelo local, el archivo del modelo (sus pesos) está en tu disco y un programa en tu computadora hace todo el cálculo.
Para usarlo necesitas dos cosas: el modelo descargado y un programa que lo ejecute, como Ollama o LM Studio. Con eso instalado, puedes chatear sin conexión. Ojo: «local» habla de dónde corre, no de dónde se hizo ni de qué idioma habla.
Mientras lo usas, el modelo tiene que entrar en la memoria de trabajo: la RAM o la memoria de video de la placa gráfica. No alcanza con espacio en el disco ni con un internet rápido. Si no entra, no arranca o va muy lento.
Una cuenta de ejemplo: un modelo de 8 mil millones de parámetros, comprimido a 4 bits por parámetro, ocupa unos 4 GB, más algo extra para la conversación. El mismo modelo sin comprimir pide varias veces eso. Por eso muchos usan versiones comprimidas: entran en una laptop común a cambio de un poco de calidad.
Cuando los datos son sensibles: un consultorio que resume historias clínicas o un estudio contable que revisa balances de clientes. También cuando la conexión es inestable o el plan de datos es limitado, algo común fuera de las grandes ciudades: el modelo sigue funcionando aunque se corte internet.
«Local garantiza privacidad.» Ayuda, pero depende de que el programa no mande tus datos afuera: revisa qué hace la app. «Local es gratis.» Muchos modelos se descargan sin pagar, pero tienen licencia de uso, y el equipo y la electricidad corren por tu cuenta. «Local es mejor (o peor) que la nube.» Depende del modelo, la tarea y tu equipo.