Um token é a unidade de texto com que um modelo de linguagem como o ChatGPT trabalha. Pode ser uma palavra inteira, um pedaço de palavra, um espaço ou um sinal. O modelo não lê letras nem palavras: lê tokens e responde token por token. Por isso os limites e os preços da IA são contados em tokens.
Token$cito$ aprende$ jog$ando$.$
6 tokensUma pergunta do app. Escolha uma resposta.
Uma palavra longa e pouco comum: como ela costuma chegar ao modelo?
Palavras frequentes costumam ter seu próprio token; as raras quase nunca estão inteiras no vocabulário e se montam com vários pedaços.
Uma letra por token é o último recurso. O tokenizador usa pedaços de várias letras sempre que tem, inclusive em palavras raras.
O vocabulário guarda inteiras as palavras frequentes e monta as raras juntando pedaços. Esses cortes não precisam coincidir com sílabas.
A palavra tem outros usos. O token do banco é o código que muda a cada poucos segundos para confirmar que é você. Em cripto, um token é um ativo digital, como uma moeda. Na programação, um token de acesso é uma senha longa que um app usa para entrar em outro, como uma chave de API. Esta página é sobre o token da IA: o pedaço de texto.
Antes de o modelo ler a frase, um programa chamado tokenizador a divide em pedaços. Palavras comuns costumam ficar inteiras; as raras ou longas se dividem em várias peças. O espaço muitas vezes vai junto com a palavra seguinte.
A divisão acima é ilustrativa. Cada família de modelos tem seu próprio tokenizador, então a mesma frase pode dar 6 tokens em um e 8 em outro. Se precisar do número exato, use o contador de tokens do provedor que você vai usar.
Muitas APIs de IA cobram por token: o que você envia (sua pergunta, as instruções e o histórico da conversa) e o que o modelo responde. Uma resposta longa custa mais do que uma curta, mesmo que digam o mesmo.
Os tokens também medem quanto texto o modelo consegue considerar de uma vez. Esse limite se chama janela de contexto: se a conversa passa dele, a parte mais antiga fica de fora.
Muitos tokenizadores foram montados com mais texto em inglês do que em outros idiomas. Por isso, com vários modelos, a mesma ideia escrita em português ocupa mais tokens do que em inglês: palavras como "aprendendo" se dividem em mais pedaços. Mais tokens é mais custo e menos espaço na janela de contexto.
Não é preciso escrever para a IA em inglês para economizar. Mas se você monta um app com milhares de consultas, vale medir os tokens no idioma real dos seus usuários e não estimar com exemplos em inglês.
"Um token é uma palavra." Às vezes sim, mas muitas vezes é um pedaço. "Um token é uma letra." Também não: um token pode ter várias letras. "É uma criptomoeda." Em IA de texto, não: é a mesma palavra com outro significado.