IA multimodal é a que trabalha com mais de um tipo de dado: texto, imagens, áudio ou vídeo. Ela pode receber, produzir ou as duas coisas. Você mostra a foto de uma lousa e ela passa a limpo, ou você fala e ela responde. Muitos chats de hoje já são, pelo menos em parte.
Uma pergunta do app. Escolha uma resposta.
Você cola 20 prints numa IA que lê imagens. Como eles contam no contexto?
Imagens também viram tokens e ocupam espaço no contexto.
Cada print vira tokens que entram no contexto. Quantos depende do modelo e do tamanho, e se você paga por uso, eles são cobrados.
Uma imagem não é uma palavra: ela é dividida em muitos pedaços, e cada um é um token.
É preciso separar a entrada da saída. Um modelo pode entender uma foto e responder só com texto, sem conseguir desenhar nada. Outro gera imagens a partir do que você escreve, mas não sabe ler imagens. Um chat que "vê" suas fotos não necessariamente consegue criar uma.
Muitos apps juntam várias peças: um LLM que entende texto e imagens, outro modelo que desenha e outro que transforma voz em texto e texto em voz. Para você é um chat só; por dentro podem ser três. A parte que cria conteúdo novo é IA generativa; o multimodal é quantos tipos de dado ela usa.
Você tira uma foto de uma nota fiscal e pede o total. Fotografa a lousa no fim de uma reunião e recebe as pendências. Ou cola o print de um erro e ela explica o que aconteceu.
O modelo não olha a foto como você: ele transforma a imagem em tokens, e esses tokens ocupam espaço na janela de contexto. Quantos, depende do modelo e do tamanho da imagem: podem ser centenas ou milhares. Se você paga por uso, eles são cobrados. Com o áudio, muitos apps passam para texto antes, e ao modelo chega só texto.
"Se leu, leu certo." Números pequenos, texto manuscrito e fotos tremidas se confundem fácil: um 7 vira 1. Confira os totais.
"Ela só diz o que vê." Se a foto está cortada, pode completar o que falta com o mesmo tom confiante; é uma alucinação.
"Uma imagem não pode dar ordens." Uma imagem pode trazer instruções, até quase invisíveis. Se o modelo segue essas instruções como ordens, elas desviam o seu pedido: é uma injeção de prompt.
"Multimodal aceita tudo." Tem chat que lê foto mas não áudio, ou que corta vídeos longos. Um PDF pode trazer texto e imagens: o app aceitar o arquivo não quer dizer que o modelo olhe as imagens. Veja o que o seu faz.