Um modelo local de IA é um modelo que você baixa e executa no seu próprio computador, em vez de usá-lo nos servidores de uma empresa. Pode funcionar sem internet, e seus dados podem ficar no seu aparelho se o app não os enviar para fora. Em troca, o que você consegue rodar depende do seu hardware.
Uma pergunta do app. Escolha uma resposta.
Que recurso é necessário para manter o modelo durante o uso?
Manter o modelo exige memória no aparelho. A internet não substitui esse recurso.
Muitos modelos têm pesos disponíveis para baixar de graça. Confira a licença de uso.
Precisa de memória de trabalho, como RAM ou memória de vídeo. A quantidade depende do modelo e do formato.
Quando você usa um chat como o ChatGPT, sua mensagem viaja até os servidores da empresa, o modelo responde lá e a resposta volta para a sua tela. Com um modelo local, o arquivo do modelo (os pesos) fica no seu disco e um programa no seu computador faz todo o cálculo.
Para usar você precisa de duas coisas: o modelo baixado e um programa que o execute, como Ollama ou LM Studio. Com isso instalado, dá para conversar sem conexão. Atenção: "local" fala de onde roda, não de onde foi feito nem de que idioma fala.
Enquanto você usa, o modelo precisa caber na memória de trabalho: a RAM ou a memória da placa de vídeo. Não basta espaço em disco nem internet rápida. Se não cabe, não abre ou fica muito lento.
Uma conta de exemplo: um modelo de 8 bilhões de parâmetros, comprimido para 4 bits por parâmetro, ocupa uns 4 GB, mais um pouco para a conversa. O mesmo modelo sem compressão pede várias vezes isso. Por isso muita gente usa versões comprimidas: cabem num notebook comum em troca de um pouco de qualidade.
Quando os dados são sensíveis: um consultório que resume prontuários ou um escritório de contabilidade que revisa balanços de clientes. Também quando a conexão é instável ou o plano de dados é limitado, algo comum fora das grandes cidades: o modelo continua funcionando mesmo se a internet cair.
"Local garante privacidade." Ajuda, mas depende de o programa não mandar seus dados para fora: confira o que o app faz. "Local é de graça." Muitos modelos podem ser baixados sem pagar, mas têm licença de uso, e o equipamento e a energia ficam por sua conta. "Local é melhor (ou pior) que a nuvem." Depende do modelo, da tarefa e do seu equipamento.