Un Transformer es un tipo de arquitectura de red neuronal, presentada en 2017 en el artículo «Attention Is All You Need». Es la base de casi todos los modelos de lenguaje actuales: la T de GPT viene de ahí. Su pieza clave es la atención, que para cada token pesa qué otros tokens importan y combina su información.
Una pregunta de la app. Elige una respuesta.
¿Qué es un Transformer en IA?
Se presentó probándolo en traducción, pero es un diseño general: hoy escribe, resume y programa.
Es el diseño en el que se basan casi todos los LLM actuales. La T de GPT viene de ahí.
Un chip es hardware, como una GPU. El Transformer es el diseño del modelo, no la máquina que lo corre.
Lee esta frase: «el perro no cruzó la calle porque estaba cansado». ¿Quién estaba cansado? Tú lo sabes al instante: el perro, no la calle. Un Transformer parte el texto en tokens y, para cada uno, calcula cuánto le importan los demás. Así la atención ayuda a relacionar partes del texto, como «perro» y «cansado».
La atención trabaja con lo que el modelo tiene a la vista: su ventana de contexto. Al generar texto, mira los tokens anteriores, no los que todavía no escribió. No es una memoria que guarda tus charlas.
Antes, muchas redes neuronales de texto leían palabra por palabra, de izquierda a derecha, y cada paso esperaba al anterior. Al entrenar, el Transformer procesa todas las posiciones del texto en paralelo. Eso son muchísimas operaciones a la vez, justo lo que mejor hace una GPU.
Así se pudo entrenar con muchísimo más texto y con modelos mucho más grandes. De ahí salieron los LLM como GPT, Claude o Gemini. La idea también se usa con imágenes y audio.
«Es un traductor.» Se presentó probándolo en traducción, pero es un diseño general: hoy escribe, resume y programa. «Es un chip.» Un chip es hardware; el Transformer es el diseño del modelo, no la máquina que lo corre. «Toda la IA es un Transformer.» Hay otras arquitecturas de deep learning y modelos híbridos que mezclan la atención con otras ideas.