O Ollama é um programa de código aberto para baixar e rodar modelos de IA de pesos abertos no seu computador com um comando, como "ollama run" e o nome do modelo. Também oferece uma API local para outros apps usarem esses modelos. E tem modelos na nuvem, então vale conferir qual você escolhe.
Uma pergunta do app. Escolha uma resposta.
Para que serve o Ollama?
Com algo como "ollama run" e o nome do modelo você já conversa. Roda no seu computador e também oferece modelos na nuvem.
Para isso existem frameworks como PyTorch ou MLX. O Ollama é pensado para usar modelos que já vêm treinados.
Isso é coisa do Hugging Face. O Ollama tem sua biblioteca de modelos, mas o forte dele é facilitar rodá-los.
Você instala no macOS, Windows ou Linux e digita "ollama run" com o nome de um modelo da biblioteca dele. Na primeira vez ele baixa; depois já dá para conversar no terminal ou no app, sem conexão se o modelo for local.
Enquanto roda, o Ollama deixa uma API na sua própria máquina (por padrão em localhost:11434). Assim um editor, um agente ou o seu próprio código podem pedir respostas como a um serviço na nuvem. Se o modelo é local, o cálculo também fica no seu computador; se é cloud, o pedido vai para a nuvem.
Memória, principalmente: o modelo precisa caber na RAM ou na memória da placa de vídeo, como qualquer modelo local. Por isso muitas versões da biblioteca dele vêm quantizadas, com menos bits por peso. Escolha um tamanho que caiba no seu computador e teste se a qualidade basta.
Hugging Face é onde se publicam muitíssimos modelos; o Ollama é o programa que facilita rodá-los. Eles combinam: com "ollama run hf.co/" seguido do usuário e do repositório você roda um modelo em formato GGUF publicado lá.
Num chat na web, como o ChatGPT, o modelo roda nos servidores da empresa. Com o Ollama e um modelo local de pesos abertos, você baixa os pesos, troca quando quiser e quem faz o cálculo é o seu computador.
"Com o Ollama tudo fica no meu computador." Só se você usa modelos locais. Os modelos na nuvem (marcados como cloud) mandam seu pedido para os servidores do Ollama e pedem login. Confira qual escolhe, ou desative a nuvem se quiser tudo local.
"O Ollama é um modelo." Não: é o programa que roda modelos feitos por outros, como Llama, Gemma ou Qwen. "Serve para treinar." Ele é pensado para usar modelos já treinados; para treinar existem frameworks como PyTorch ou MLX.