Um Transformer é um tipo de arquitetura de rede neural, apresentada em 2017 no artigo "Attention Is All You Need". É a base de quase todos os modelos de linguagem atuais: o T de GPT vem daí. Sua peça principal é a atenção, que, para cada token, pesa quais outros tokens importam e combina a informação deles.
Uma pergunta do app. Escolha uma resposta.
O que é um Transformer em IA?
Foi apresentado testando tradução, mas é um design geral: hoje escreve, resume e programa.
É o design em que se baseiam quase todos os LLMs atuais. O T de GPT vem daí.
Um chip é hardware, como uma GPU. O Transformer é o design do modelo, não a máquina que o roda.
Leia esta frase: "o cachorro não atravessou a rua porque estava cansado". Quem estava cansado? Você sabe na hora: o cachorro, não a rua. Um Transformer divide o texto em tokens e, para cada um, calcula quanto os outros importam. Assim a atenção ajuda a relacionar partes do texto, como "cachorro" e "cansado".
A atenção trabalha com o que o modelo tem à vista: a sua janela de contexto. Ao gerar texto, olha os tokens anteriores, não os que ainda não escreveu. Não é uma memória que guarda suas conversas.
Antes, muitas redes neurais de texto liam palavra por palavra, da esquerda para a direita, e cada passo esperava o anterior. No treinamento, o Transformer processa todas as posições do texto em paralelo. São muitíssimas operações ao mesmo tempo, justamente o que uma GPU faz melhor.
Assim foi possível treinar com muitíssimo mais texto e com modelos muito maiores. Daí saíram os LLMs como GPT, Claude ou Gemini. A ideia também é usada com imagens e áudio.
"É um tradutor." Foi apresentado testando tradução, mas é um design geral: hoje escreve, resume e programa. "É um chip." Um chip é hardware; o Transformer é o design do modelo, não a máquina que o roda. "Toda IA é um Transformer." Há outras arquiteturas de deep learning e modelos híbridos que misturam a atenção com outras ideias.