Um modelo de IA é um sistema de cálculo treinado com muitos dados para fazer uma tarefa, como escrever texto, reconhecer imagens ou transcrever voz. O treinamento ajusta seus parâmetros: números que decidem o que ele responde. O app onde você conversa não é o modelo: é a janela, e o modelo trabalha por trás.
Uma pergunta do app. Escolha uma resposta.
Seu app vai bem com um modelo pequeno. O que muda com um maior?
Mais parâmetros pedem mais cálculo por token, e isso costuma aparecer na tarifa. Render melhor na sua tarefa não é garantido: se mede com seus casos.
Costuma ser o contrário: faz mais cálculo por token, e isso leva tempo. A velocidade também depende do equipamento e de como é servido.
Inventa porque prevê o provável, não por falta de tamanho. Um grande pode inventar menos, mas o importante continua sendo conferido.
O ChatGPT, por exemplo, é um app. Por trás usa um ou vários modelos, e a empresa pode trocá-los sem que o app mude de nome. O mesmo vale para o assistente do seu banco ou o bot que te responde no WhatsApp: muitas vezes usam um modelo de outra empresa.
Por isso o mesmo app pode responder diferente de um mês para outro. E por isso instalar um app nem sempre instala um modelo: muitos mandam sua mensagem para um modelo na nuvem e só te mostram a resposta.
Existem modelos para texto, para imagens, para voz e outros que combinam várias coisas. Dentro de cada tipo, cada empresa treina os seus e lança versões novas com frequência. Além disso, muitas oferecem o mesmo modelo em tamanhos diferentes: um grande para tarefas difíceis e um pequeno para respostas rápidas e baratas.
Um modelo maior costuma ter mais parâmetros e costuma custar mais por token, mas isso sozinho não garante respostas melhores para o seu caso. Com tarifas inventadas: se o pequeno custa 1 USD por milhão de tokens e o grande 8 USD, classificar 10.000 reclamações de clientes com o grande sai oito vezes mais caro. Se o pequeno classifica bem, você pagou a mais.
O prático é testar com exemplos reais da sua tarefa, no idioma dos seus usuários. Um modelo que vai muito bem em inglês pode render menos em português, e isso o tamanho não diz.
"O modelo mais novo sabe o que aconteceu ontem." Não sozinho: aprendeu até uma data de corte e, para o recente, precisa buscar ou receber a informação. "Um modelo é um robô." Um robô pode usar um modelo, mas o modelo é o cálculo, não o corpo. "Todo modelo de IA é um chatbot." Muitos não conversam: filtram spam, recomendam séries ou leem radiografias.