Quantização é guardar os pesos de um modelo de IA com menos bits, por exemplo 8 ou 4 em vez de 16. Assim o modelo ocupa menos memória e consegue rodar num computador comum, em troca de um pouco de precisão. Ele tem os mesmos parâmetros de antes: cada um ocupa menos.
Uma pergunta do app. Escolha uma resposta.
Você tem 8 GB de RAM livres e os pesos ocupam 16 GB em 16 bits. Qual versão baixa?
Só os pesos já passam dos 8 GB que você tem: não cabe na memória.
Os pesos ocupam uns 8 GB: tudo o que você tem, sem espaço para rodar o modelo nem para a conversa.
Cada peso com a quarta parte dos bits: uns 4 GB. Sobra espaço para rodar e para a conversa, em troca de um pouco de precisão.
Um modelo de IA é, no fundo, uma lista enorme de números: os pesos que a rede neural aprendeu no treinamento. Um LLM tem bilhões deles. O normal é guardar cada um com 16 bits.
Quantizar é arredondar esses números para caberem em menos bits, como passar de 3,14159 para 3,1. Cada peso fica um pouco menos exato, mas o modelo não perde parâmetros. O normal é fazer isso depois do treinamento.
Uma conta aproximada: parâmetros × bits ÷ 8 dá os bytes. Um modelo de 10 bilhões de parâmetros pede uns 20 GB em 16 bits, 10 GB em 8 bits e 5 GB em 4 bits. Essa é a conta dos pesos: o arquivo traz um pouco mais, e rodar o modelo pede memória extra, principalmente em conversas longas.
Essa é a diferença entre um modelo local que não abre e um que cabe na memória do seu notebook. O mesmo vale para a IA no celular: os modelos que rodam no telefone costumam ser quantizados.
Ao baixar um modelo no Ollama, no LM Studio ou no Hugging Face, o mesmo modelo aparece em várias versões. Em nomes como Q8, Q5 ou Q4, o número indica mais ou menos os bits por peso; as letras depois (como K_M) são variantes do método. "8-bit" ou "4-bit" dizem a mesma coisa, e FP16 ou BF16 é a versão de 16 bits, sem quantizar.
Uma regra prática: entre as versões do mesmo modelo, escolha a de mais bits que caiba na sua memória deixando espaço para a conversa. Depois teste se a qualidade basta para você.
Depende do modelo e da tarefa. Em 8 bits a perda costuma ser pequena, e 4 bits costuma bastar. Com menos bits, os erros aumentam. Teste no seu idioma, com as suas próprias tarefas.
"Quantizado é o mesmo que um modelo menor." Não: tem os mesmos parâmetros, com menos bits cada um. A destilação é outra coisa: treina outro modelo com o que um maior ensina a ele. Esse costuma sair menor, e também pode ser quantizado.
"Menos bits é sempre a pior opção." Com a mesma memória, um modelo grande em 4 bits muitas vezes rende mais que um pequeno em 16.
"É só para usar em casa." Na nuvem também se usa: servir com menos bits gasta menos hardware, e isso pesa no custo da IA.