Ollama es un programa de código abierto para descargar y correr modelos de IA de pesos abiertos en tu computadora con un comando, como «ollama run» y el nombre del modelo. Además ofrece una API local para que otras apps usen esos modelos. También tiene modelos en la nube, así que conviene fijarse cuál eliges.
Una pregunta de la app. Elige una respuesta.
¿Para qué sirve Ollama?
Con algo como «ollama run» y el nombre del modelo ya charlas. Corre en tu compu y también ofrece modelos en la nube.
Para eso están frameworks como PyTorch o MLX. Ollama está pensado para usar modelos que ya vienen entrenados.
Eso es lo de Hugging Face. Ollama tiene su biblioteca de modelos, pero su fuerte es que correrlos sea fácil.
Lo instalas en macOS, Windows o Linux y escribes «ollama run» con el nombre de un modelo de su biblioteca. La primera vez lo descarga; después ya puedes chatear en la terminal o en su app, sin conexión si el modelo es local.
Mientras corre, Ollama deja una API en tu propia máquina (por defecto en localhost:11434). Así un editor, un agente o tu propio código pueden pedirle respuestas como a un servicio en la nube. Si el modelo es local, el cálculo también queda en tu equipo; si es cloud, el pedido viaja a la nube.
Memoria, sobre todo: el modelo tiene que entrar en la RAM o en la memoria de la placa de video, como cualquier modelo local. Por eso muchas versiones de su biblioteca vienen cuantizadas, con menos bits por peso. Elige un tamaño que entre en tu equipo y prueba si la calidad te alcanza.
Hugging Face es donde se publican muchísimos modelos; Ollama es el programa que los hace correr fácil. Se llevan bien: con «ollama run hf.co/» seguido del usuario y el repositorio puedes correr un modelo en formato GGUF publicado allí.
En un chat en la web, como ChatGPT, el modelo corre en los servidores de la empresa. Con Ollama y un modelo local de pesos abiertos, descargas los pesos, lo cambias cuando quieras y el cálculo lo hace tu computadora.
«Con Ollama todo queda en mi compu.» Sólo si usas modelos locales. Los modelos en la nube (marcados como cloud) mandan tu pedido a los servidores de Ollama y piden iniciar sesión. Fíjate cuál eliges, o desactiva la nube si quieres todo local.
«Ollama es un modelo.» No: es el programa que corre modelos hechos por otros, como Llama, Gemma o Qwen. «Sirve para entrenar.» Está pensado para usar modelos ya entrenados; para entrenar están frameworks como PyTorch o MLX.