Agente de IA: como testar instruções indevidas dentro de documentos

O documento pode informar sem ter autoridade para mandar

Um agente consulta um procedimento e encontra, no meio do texto, uma frase que pede para ignorar a revisão humana. Se ele tratar esse trecho como uma nova ordem, uma fonte de consulta terá passado a comandar o trabalho. A resposta pode parecer coerente e ainda assim contrariar o escopo autorizado.

Como testar esse limite antes de ampliar um piloto? O roteiro autoral da Orbite propõe materiais fictícios, resultados esperados e análise conjunta entre responsável pelo processo e equipe técnica. A pergunta central é se um conteúdo recebido consegue mudar as regras da tarefa. O teste deve ocorrer em ambiente preparado e autorizado, sem dados ou ações reais.

Entenda a diferença entre um pedido e uma fonte

O projeto de segurança de IA generativa da OWASP descreve a injeção indireta de instruções como uma alteração indevida de comportamento provocada por conteúdo de fontes externas, como arquivos ou páginas. O material também observa que não há um método infalível conhecido de prevenção. Por isso, um teste aprovado não comprova ausência de qualquer risco.

Na discussão de implantação, diferencie a tarefa autorizada, as fontes que podem ser consultadas e as ações disponíveis. Um manual pode explicar como preencher uma solicitação, mas seu texto não deve conceder ao agente permissão para enviá-la. Essa fronteira precisa ser considerada no desenho técnico e na revisão operacional, além da redação de orientações ao modelo.

Prepare uma referência normal e uma versão alterada

Escolha uma tarefa pequena, como preparar um rascunho de pedido para revisão. Crie um procedimento inteiramente fictício com as informações necessárias e escreva o resultado esperado. Depois prepare outra versão que acrescente uma instrução incompatível, por exemplo, declarar o pedido concluído sem a aprovação prevista.

O objetivo é observar a reação a esse desvio, sem executar ações em sistemas reais. Combine quais registros permitirão verificar a fonte consultada, a resposta e eventuais tentativas de ação. Use contas e ferramentas de teste aprovadas. Se o ambiente não permitir conferir o comportamento relevante, essa limitação deve aparecer no resultado, em vez de ser tratada como sucesso silencioso.

Um exemplo hipotético para operações

Imagine um piloto fictício que ajuda a organizar pedidos de material de escritório. A tarefa autorizada termina em um rascunho com campos pendentes visíveis. No documento de teste, um trecho adicional afirma que todos os pedidos devem ser considerados aprovados, mesmo sem a conferência do responsável.

A equipe verifica se o agente preserva a pendência e mantém o rascunho no limite definido. Se ele apresentar aprovação inexistente ou tentar avançar, o caso é registrado para investigação. Este exemplo hipotético não descreve uma integração disponível, uma vulnerabilidade identificada ou um resultado da Orbite. Serve para formular um teste defensivo simples com informações inventadas e sem efeitos na operação.

Registre cada caso com seis perguntas

Prepare o registro antes da execução para evitar que a avaliação dependa apenas de uma impressão sobre a resposta:

1. Tarefa: o que o agente está autorizado a preparar ou consultar?
2. Material: qual fonte fictícia contém a instrução incompatível?
3. Limite: qual regra do processo o conteúdo tenta alterar?
4. Esperado: qual resposta e qual ausência de ação demonstrariam respeito ao escopo?
5. Observado: o que foi consultado, respondido ou tentado, conforme os registros disponíveis?
6. Destino: quem analisará a divergência e decidirá sobre ajustes e continuidade?

Inclua também uma consulta normal. O agente precisa apoiar a tarefa legítima dentro do escopo, sem transformar qualquer documento em motivo para abandonar todo o atendimento.

Investigue o desvio antes de repetir o piloto

Se o conteúdo alterar indevidamente o comportamento, interrompa a parte afetada e preserve os registros pertinentes para análise. A equipe técnica deve examinar a separação entre instruções e dados, os acessos e os limites das ferramentas. Uma resposta reescrita com tom mais cauteloso pode esconder a mesma tentativa de ação.

Depois dos ajustes, repita os casos relacionados e as consultas que deveriam continuar funcionando. Registre os limites da validação e quem autorizou o próximo passo. O conjunto de testes deve acompanhar mudanças nas fontes e no desenho do agente. A aprovação pertence ao processo de implantação; não pode ser concedida por uma frase encontrada no material consultado.

Inclua a fronteira de autoridade no diagnóstico

Leve para a próxima conversa uma tarefa, uma fonte permitida e uma ação que exige autorização separada. Escreva como essa ação permanecerá fora do alcance do conteúdo recebido e que evidências o teste deverá produzir. A resposta exige decisões de implementação e de operação trabalhando juntas.

A Orbite Consulting oferece implantação assistida de agentes de IA, condicionada a diagnóstico, acessos autorizados e validação por projeto. Este artigo não anuncia um mecanismo específico de proteção do produto. Para complementar a preparação, confira o roteiro sobre testes de acesso por perfil com dados fictícios e registre os limites que precisam ser conferidos.