A inteligência artificial de hoje funciona, principalmente, aprendendo padrões de muitíssimos exemplos em vez de seguir só regras escritas à mão. Primeiro se treina um modelo com dados; depois esse modelo recebe algo novo, como uma foto ou uma pergunta, e responde com o que aprendeu: um rótulo, um número ou, num chat, texto token a token.
Uma pergunta do app. Escolha uma resposta.
Como um modelo generativo de texto produz uma resposta?
Sozinha não procura: gera o texto com o que aprendeu. Alguns apps adicionam busca.
Escreve a resposta a partir de padrões que aprendeu de muitíssimo texto.
Não escolhe só de uma lista: gera texto, mas pode repetir frases dos dados.
Dados: milhares ou milhões de exemplos, como fotos com seu rótulo ou textos. Treinamento: o programa ajusta números internos, seus parâmetros, para errar cada vez menos nesses exemplos; isso é o machine learning, e o que sai é um modelo, que depois é testado com exemplos que não viu. Uso, ou inferência: o modelo já treinado recebe algo novo e responde. Treinar um modelo grande custa muito; a inferência acontece toda vez que você pergunta algo.
Os modelos mais conhecidos, como os de chat ou os que reconhecem imagens, são redes neurais: camadas de cálculos simples com muitíssimos parâmetros. Com muitas camadas se fala em deep learning, e essas contas são aceleradas com GPU, chips que fazem milhares de multiplicações ao mesmo tempo.
Com aprendizado supervisionado, cada exemplo traz a resposta certa: este e-mail é spam, este não. Sem supervisão, os exemplos não trazem resposta e o modelo busca estrutura, como grupos de casos parecidos. E por reforço, ele tenta, recebe um prêmio ou um castigo e ajusta; é assim que alguns programas aprendem a jogar.
Os exemplos pesam muito. Se o modelo decora os do treinamento e erra nos novos, é sobreajuste. Se os exemplos estão tortos, o modelo pode herdar isso: é uma das fontes de viés, junto com como ele é projetado e usado.
O ChatGPT, o Claude ou o Gemini usam um LLM. Sua pergunta é dividida em tokens; o modelo, um Transformer, olha tudo o que tem na sua janela de contexto e calcula probabilidades para os tokens que poderiam vir depois. Escolhe um, adiciona e repete. A temperatura ajusta quanto essa escolha varia, não quanto o modelo sabe.
O modelo não copia a resposta de um banco de dados: ele a gera com o que aprendeu e com o que está no contexto. Por isso pode escrever algo que nunca leu, e por isso pode inventar com total segurança. Para usar dados seus ou atuais, o app os busca em documentos, bancos de dados ou na web e os passa no texto, por exemplo com RAG.
Ela não entende como uma pessoa, e uma resposta confiante não garante um acerto. Num chat como o ChatGPT, conversar não muda o modelo: o que muda a resposta é o contexto; outras IAs são atualizadas com dados novos enquanto são usadas. E não é uma coisa só: o filtro de spam, o mapa que calcula o trânsito e um chat compartilham a ideia, mas são modelos diferentes, cada um para a sua tarefa.
Se você está começando, leia o que é inteligência artificial e depois o que é um LLM e um token. Cada termo traz uma pergunta do Tokencito para praticar, e no app você aprende o mesmo jogando, cinco minutos por dia.