Una GPU es un chip que nació para dibujar gráficos y que hace miles de cuentas simples al mismo tiempo. La IA la usa porque un modelo es, casi todo, multiplicar tablas enormes de números. Su ventaja no es hacer más rápido una operación aislada, sino hacer muchísimas en paralelo.
Una pregunta de la app. Elige una respuesta.
¿Por qué la IA suele correr en GPU?
Un modelo hace montañas de multiplicaciones, y la GPU hace miles en paralelo. Un modelo chico también puede correr en CPU, más lento.
Su ventaja no es acelerar cualquier operación suelta: es hacer miles en paralelo, como las multiplicaciones de un modelo.
La GPU no entiende nada: hace cuentas. Lo que «sabe» el modelo está en sus pesos, que son números.
Para dibujar una imagen del juego, la GPU calcula el color de millones de píxeles, y cada uno es una cuenta chica e independiente. Por eso tiene miles de núcleos simples en lugar de unos pocos núcleos potentes como la CPU.
Una red neuronal tiene la misma forma de trabajo: multiplicar matrices, o sea tablas de números, una y otra vez. Los modelos de lenguaje actuales son Transformers, un diseño que justamente aprovecha hacer esas cuentas en paralelo.
Preentrenar un modelo enorme desde cero pide mucho cómputo especializado: grandes grupos de GPU, o de chips parecidos como las TPU de Google, trabajando juntos. Después, cada respuesta también es cálculo: el modelo hace cuentas por cada token que escribe, para cada usuario. Es la diferencia entre entrenamiento e inferencia.
Por eso estos chips son caros, escasos y muy pedidos, y por eso usar IA no es gratis: cada respuesta ocupa hardware y electricidad. Más en cuánto cuesta la IA.
Una GPU dedicada tiene su propia memoria, la VRAM; con memoria unificada, como en las Mac con Apple Silicon, CPU y GPU la comparten. Ahí tienen que entrar los pesos y lo que el modelo ocupa al correr. Si no entra, va lento o no arranca. Por eso existe la cuantización, que achica el modelo, y por eso es la primera pregunta al correr un modelo local.
«Sin GPU no hay IA.» Un modelo chico corre en la CPU, más lento, y muchos teléfonos traen un chip propio para IA, la NPU: es la IA en el celular. «La GPU es la que piensa.» La GPU sólo hace cuentas; lo que el modelo sabe está en sus pesos. «Una GPU es más rápida en todo.» Su fuerte es hacer muchas operaciones en paralelo, no acelerar cualquier operación suelta.