Un token es la unidad de texto con la que trabaja un modelo de lenguaje como ChatGPT. Puede ser una palabra entera, un pedazo de palabra, un espacio o un signo. El modelo no lee letras ni palabras: lee tokens y responde token por token. Por eso los límites y los precios de la IA se cuentan en tokens.
Token$cito$ aprende$ jug$ando$.$
6 tokensUna pregunta de la app. Elige una respuesta.
Una palabra larga y poco común, ¿cómo le suele llegar al modelo?
Las palabras frecuentes suelen tener su propio token; las raras casi nunca están enteras en el vocabulario y se arman con varios pedazos.
Una letra por token es el último recurso. El tokenizador usa pedazos de varias letras siempre que los tiene, también en palabras raras.
El vocabulario guarda enteras las palabras frecuentes y arma las raras juntando pedazos. Esos cortes no tienen que coincidir con sílabas.
La palabra tiene otros usos. El token del banco es el código que cambia cada pocos segundos para confirmar que eres tú. En cripto, un token es un activo digital, como una moneda. Al programar, un token de acceso es una contraseña larga que usa una app para entrar a otra, como una clave de API. Esta página es sobre el token de la IA: el pedazo de texto.
Antes de que el modelo la lea, un programa llamado tokenizador parte la frase en pedazos. Las palabras comunes suelen quedar enteras; las raras o largas se parten en varias piezas. El espacio muchas veces va pegado a la palabra que sigue.
El corte de arriba es ilustrativo. Cada familia de modelos tiene su propio tokenizador, así que la misma frase puede dar 6 tokens en uno y 8 en otro. Si necesitas el número exacto, usa el contador de tokens del proveedor que vas a usar.
Muchas API de IA cobran por token: lo que envías (tu pregunta, las instrucciones y el historial de la charla) y lo que el modelo responde. Una respuesta larga cuesta más que una corta, aunque digan lo mismo.
Los tokens también miden cuánto texto puede tener en cuenta el modelo a la vez. Ese límite se llama ventana de contexto: si la conversación lo supera, lo más viejo queda afuera.
Muchos tokenizadores se armaron con más texto en inglés que en otros idiomas. Por eso, con varios modelos, la misma idea escrita en español ocupa más tokens que en inglés: palabras como «aprendiendo» se parten en más pedazos. Más tokens es más costo y menos espacio en la ventana de contexto.
No hace falta escribirle en inglés a la IA para ahorrar. Pero si armas una app con miles de consultas, conviene medir los tokens en el idioma real de tus usuarios y no estimar con ejemplos en inglés.
«Un token es una palabra.» A veces sí, pero muchas veces es un pedazo. «Un token es una letra.» Tampoco: un token puede tener varias letras. «Es una criptomoneda.» En IA de texto, no: es la misma palabra con otro significado.