Uma GPU é um chip que nasceu para desenhar gráficos e faz milhares de contas simples ao mesmo tempo. A IA usa porque um modelo é, quase tudo, multiplicar tabelas enormes de números. Sua vantagem não é fazer mais rápido uma operação isolada, e sim fazer muitíssimas em paralelo.
Uma pergunta do app. Escolha uma resposta.
Por que a IA costuma rodar em GPU?
Um modelo faz montanhas de multiplicações, e a GPU faz milhares em paralelo. Um modelo pequeno também pode rodar na CPU, mais devagar.
A vantagem não é acelerar qualquer operação isolada: é fazer milhares em paralelo, como as multiplicações de um modelo.
A GPU não entende nada: faz contas. O que o modelo "sabe" está nos pesos, que são números.
Para desenhar uma imagem do jogo, a GPU calcula a cor de milhões de pixels, e cada um é uma conta pequena e independente. Por isso ela tem milhares de núcleos simples em vez de poucos núcleos potentes como a CPU.
Uma rede neural tem o mesmo tipo de trabalho: multiplicar matrizes, ou seja, tabelas de números, de novo e de novo. Os modelos de linguagem atuais são Transformers, um design que aproveita justamente fazer essas contas em paralelo.
Pré-treinar um modelo enorme do zero exige muito processamento especializado: grandes grupos de GPUs, ou de chips parecidos como as TPUs do Google, trabalhando juntos. Depois, cada resposta também é cálculo: o modelo faz contas a cada token que escreve, para cada usuário. É a diferença entre treinamento e inferência.
Por isso esses chips são caros, escassos e muito disputados, e por isso usar IA não é de graça: cada resposta ocupa hardware e energia. Mais em quanto custa a IA.
Uma GPU dedicada tem a sua própria memória, a VRAM; com memória unificada, como nos Macs com Apple Silicon, CPU e GPU a compartilham. Ali precisam caber os pesos e o que o modelo ocupa ao rodar. Se não cabe, fica lento ou não abre. Por isso existe a quantização, que encolhe o modelo, e por isso é a primeira pergunta ao rodar um modelo local.
"Sem GPU não há IA." Um modelo pequeno roda na CPU, mais devagar, e muitos celulares têm um chip próprio para IA, a NPU: é a IA no celular. "A GPU é que pensa." A GPU só faz contas; o que o modelo sabe está nos pesos. "Uma GPU é mais rápida em tudo." O forte dela é fazer muitas operações em paralelo, não acelerar qualquer operação solta.