La IA multimodal es la que trabaja con más de un tipo de dato: texto, imágenes, audio o video. Puede recibirlos, producirlos o las dos cosas. Le muestras la foto de un pizarrón y te lo pasa en limpio, o le hablas y te contesta. Muchos chats de hoy ya lo son, al menos en parte.
Una pregunta de la app. Elige una respuesta.
Pegas 20 capturas a una IA que lee imágenes. ¿Cómo cuentan en el contexto?
Las imágenes también se vuelven tokens y ocupan lugar en el contexto.
Cada captura se vuelve tokens que entran al contexto. Cuántos depende del modelo y del tamaño, y si pagas por uso, se cobran.
Una imagen no es una palabra: se parte en muchos pedazos, y cada uno es un token.
Hay que separar la entrada de la salida. Un modelo puede entender una foto y contestarte solo con texto, sin poder dibujar nada. Otro genera imágenes a partir de lo que escribes, pero no sabe leerlas. Que un chat «vea» tus fotos no quiere decir que pueda crear una.
Muchas apps juntan varias piezas: un LLM que entiende texto e imágenes, otro modelo que dibuja y otro que pasa la voz a texto y el texto a voz. Para ti es un solo chat; por dentro pueden ser tres. La parte que crea contenido nuevo es IA generativa; lo multimodal es cuántos tipos de dato maneja.
Le sacas una foto a una factura y le pides el total. Fotografías el pizarrón al final de una reunión y te devuelve los pendientes. O le pegas la captura de un error y te explica qué pasó.
El modelo no mira la foto como tú: la convierte en tokens, y esos tokens ocupan lugar en la ventana de contexto. Cuántos, depende del modelo y del tamaño de la imagen: pueden ser cientos o miles. Si pagas por uso, se cobran. Con el audio, muchas apps lo pasan a texto antes, y al modelo le llega solo texto.
«Si lo leyó, lo leyó bien.» Los números chicos, la letra a mano y las fotos borrosas se confunden fácil: un 7 pasa a ser un 1. Revisa los totales.
«Solo dice lo que ve.» Si la foto está cortada, puede completar lo que falta con el mismo tono seguro; es una alucinación.
«Una imagen no puede dar órdenes.» Una imagen puede traer instrucciones, incluso casi invisibles. Si el modelo las sigue como órdenes, desvían tu pedido: es una inyección de prompts.
«Multimodal acepta todo.» Hay chats que leen fotos pero no audio, o que cortan los videos largos. Un PDF puede traer texto e imágenes: que la app acepte el archivo no quiere decir que el modelo mire las imágenes. Fíjate qué hace el que usas.