Agente de IA: como testar o que acontece quando duas fontes divergem

Dois trechos corretos podem valer para situações diferentes

Um agente que responde perguntas sobre trocas encontra uma regra geral e uma exceção para um canal. Os dois trechos podem estar vigentes. Se a pergunta omite o canal, escolher um prazo e citar qualquer um dos textos gera uma resposta aparentemente completa para um caso ainda indefinido. O teste útil separa três comportamentos: responder quando a regra é aplicável, pedir um contexto que resolve a dúvida e encaminhar quando a regra de precedência ainda depende de uma pessoa.

O perfil de riscos da IA generativa do NIST inclui a verificação de fontes e citações antes da implantação e durante o monitoramento. A aplicação aqui é um ensaio de mesa com documentos fictícios, anterior a qualquer automação de ação. Ele mede se a resposta usa a fonte adequada à situação, além de mostrar em que condições a equipe precisa intervir.

Defina a precedência com quem mantém a regra

Peça ao responsável pelo processo para descrever quando cada fonte se aplica. Anote a área emissora, a vigência, o canal, o público e quem confirma as exceções. Uma página geral pode cobrir todos os pedidos, enquanto um anexo aprovado altera só o tratamento de uma categoria. A data de modificação do arquivo ajuda a investigar a origem. Uma republicação recente de um manual antigo, por exemplo, pode mudar a data do arquivo sem mudar a regra válida.

Registre a regra de precedência em uma frase que a equipe consiga testar. “Para o canal parceiro, o anexo específico vigente substitui o prazo geral” permite construir casos claros. “Use o documento mais recente” pode falhar quando documentos vigentes têm escopos diferentes. Quando o responsável ainda não estabeleceu a precedência, marque esse conjunto como pendente de decisão. Prepare um encaminhamento com os trechos em conflito e a pergunta que precisa ser respondida.

Monte quatro casos antes de fazer a primeira pergunta

Imagine uma operação fictícia de devolução de embalagens. Um manual aprovado orienta a solicitar a retirada em até cinco dias úteis no canal direto. Um anexo vigente prevê três dias úteis no canal parceiro. Uma nota interna, ainda em revisão, sugere quatro dias para ambos. Um conjunto mínimo testa: canal direto informado, canal parceiro informado, canal ausente e divergência entre duas instruções igualmente autorizadas para o mesmo canal e período.

Nos dois primeiros, espere que o agente identifique a regra aplicável, cite o trecho e explicite a condição. No terceiro, a pergunta “qual é o canal?” deve resolver a lacuna. No quarto, prepare dois documentos fictícios do mesmo nível sem regra que resolva a divergência. Espere que o agente mostre a incompatibilidade e indique a área que pode esclarecer, mantendo qualquer execução suspensa. A nota em revisão pode ser incluída como dado de teste de um ambiente segregado, para verificar se a política do piloto a exclui das orientações.

Investigue o ponto em que a resposta se perdeu

Quando um caso falhar, confira se o trecho correto chegou à etapa de resposta. Se a fonte aplicável nem foi recuperada, revise a seleção de documentos e os filtros de escopo. Se chegou junto da outra fonte e a resposta ignorou o canal, examine a regra de precedência e a instrução para pedir contexto. Se a base realmente não resolve o conflito, trate como pendência de processo. Uma mensagem mais fluente dificilmente resolve uma decisão que ninguém formalizou.

Conte respostas corretas por tipo de caso, encaminhamentos que evitam uma escolha errada e encaminhamentos desnecessários. Meça a leitura da fonte, a revisão e o tempo gasto para a área responder à dúvida. Registre custos e correções antes de comparar com o caminho manual. Reaplique as mesmas perguntas depois do ajuste, acrescentando uma variação de vocabulário. As conclusões valem para os cenários ensaiados e podem orientar um piloto limitado com revisão humana.

Checklist antes de ampliar o piloto

• Identifique duas fontes e escreva onde cada uma vale.
• Defina a resposta esperada com contexto completo, ausente e conflitante.
• Confira a origem, a citação e o trecho que sustenta a resposta.
• Combine quem recebe a dúvida, quais informações acompanham o encaminhamento e quando o teste será refeito.

Comece por uma pergunta frequente e um par de trechos fictícios. Faça a leitura humana primeiro e anote o que a resposta deveria pedir ou citar. Se o problema for a vigência de uma única orientação, veja o roteiro de atualização da base do agente. A demonstração do Orbite Agents ilustra uma resposta com fonte e um encaminhamento para a equipe.