Guardrails de IA são controles que cercam um modelo ou um agente: verificam o que entra, filtram o que sai e limitam o que ele pode fazer. As permissões são impostas pelo código ou pela ferramenta; os filtros também podem usar outros modelos e errar.
Uma pergunta do app. Escolha uma resposta.
Seu agente não pode apagar arquivos sem te perguntar. O que garante isso?
Orienta, mas é um texto que o modelo lê: um erro ou um texto infiltrado podem fazer ele pular a regra.
A ferramenta segura a exclusão até você dizer sim, decida o que decidir o modelo. Isso é um guardrail.
Erra menos, mas continua podendo apagar. Enquanto a decisão ficar só com o modelo, nada garante.
O que entra: antes de o pedido chegar ao modelo, um controle pode esconder um número de cartão, barrar perguntas fora do tema ou marcar texto suspeito, como uma tentativa de injeção de prompt.
O que sai: antes de mostrar a resposta, outro controle a revisa. Se ela traz um dado pessoal ou um tema proibido, ele troca por uma mensagem fixa ou passa para uma pessoa. Às vezes esse controle é outro modelo menor que só classifica.
O que ele faz: num agente, quais ferramentas ele tem, com quais permissões e quais pedem a sua confirmação. Um agente que pode apagar arquivos, mas só depois que você diz sim.
Um banco quer um bot que tire dúvidas do cartão e nunca dê conselhos de investimento. Um controle olha cada pergunta: se for sobre investir, responde um texto fixo que o banco escreveu e oferece falar com um assessor. Outro revisa cada resposta antes de sair. E o bot não tem acesso para movimentar dinheiro: mesmo que alguém o engane, não consegue.
Nenhuma camada é perfeita sozinha. Juntas reduzem o risco, mas cada uma cobre problemas diferentes.
Escrever "nunca recomende investimentos" ou "não apague arquivos" no prompt orienta o modelo, mas não impede nada. Ele pode pular a instrução por um erro, numa conversa longa ou por uma injeção de prompt.
Para impedir uma ação, confira qual permissão ou controle a bloqueia mesmo se o modelo tentar executá-la. O mesmo com os dados: se o modelo nunca deve ver uma chave de API, não passe a chave para ele; dizer que não a mostre não basta.
Alguns controles comparam a resposta com fontes para detectar alucinações, mas podem deixar passar erros. E se os guardrails forem rígidos demais, bloqueiam perguntas normais e o bot fica inútil. Eles se testam com casos reais e se ajustam.
Os modelos também vêm treinados para recusar certas coisas. Isso ajuda, mas não conhece as suas regras: não sabe que o seu banco não dá conselhos de investimento.