IA no atendimento: como medir resolução sem confundir resposta com solução

A mensagem foi enviada; a necessidade foi atendida?

Um assistente de IA responde rapidamente, a conversa termina e o painel registra uma interação concluída. Ainda assim, a pessoa pode continuar sem saber o que fazer, precisar repetir a pergunta ou depender de uma ação que não aconteceu. O evento observado foi a resposta; o resultado do atendimento continua em aberto.

Como avaliar se houve resolução? O método autoral deste artigo propõe começar pela necessidade e pelo critério de conclusão do serviço. A medição deve permitir distinguir orientação útil, encaminhamento e pendência, com suas evidências. Encerrar uma janela ou produzir uma frase de despedida não demonstra, isoladamente, que o trabalho foi concluído.

Defina o resultado antes de escolher o indicador

Escolha um tipo de solicitação e descreva o que precisa acontecer para considerá-lo atendido. Em uma dúvida de procedimento, pode ser necessário receber uma orientação correta e aplicável. Em um pedido de alteração, informar o caminho é diferente de realizar e confirmar a mudança. O critério depende do escopo autorizado do atendimento.

Registre também o que permanece fora da atuação do assistente. Quando uma decisão exige uma pessoa, o encaminhamento pode ser um resultado adequado da etapa, mas não equivale à solução final do pedido. Essa separação ajuda a escolher indicadores que mostrem o percurso, em vez de premiar qualquer encerramento.

Use a referência de conclusão com seu limite de aplicação

O Service Manual do GOV.UK define a conclusão de uma transação digital a partir da tarefa que o serviço oferece e de pontos claros de início e fim. O próprio guia distingue transações de aconselhamento geral e consultas. Portanto, sua taxa não deve ser transplantada para qualquer conversa de atendimento.

A aplicação editorial aqui é mais restrita: explicitar qual tarefa está sendo observada e qual evidência permite afirmar sua conclusão. Para dúvidas abertas, pode ser necessário registrar qualidade da orientação e continuidade, sem inventar uma confirmação de resultado que o processo não consegue observar.

Um exemplo hipotético de avaliação

Imagine um atendimento fictício sobre atualização de dados de uma solicitação. O assistente informa os passos disponíveis, mas a execução depende de conferência humana. Se o teste observar apenas a mensagem, uma resposta bem escrita poderá parecer suficiente. Se observar o pedido completo, a situação permanece pendente até que o responsável confirme a etapa seguinte.

A equipe prepara casos inteiramente inventados e define estados separados para orientação conferida, encaminhamento recebido e resultado confirmado. Quando a informação de conclusão não existe, registra resultado não observado. Este exemplo hipotético descreve um desenho de avaliação; não apresenta integração disponível, taxa de resolução ou resultado de cliente da Orbite.

Prepare uma ficha com seis conferências

Antes do piloto, combine com quem opera e revisa o serviço:

• Necessidade: qual solicitação está sendo atendida e qual é o escopo da etapa?
• Conclusão: que acontecimento verificável permitirá registrar o resultado?
• Qualidade: a orientação está correta, completa e sustentada na referência aprovada?
• Pendência: o que falta e quem precisa assumir a continuidade?
• Esforço: quanto trabalho houve em preparação, resposta, revisão e correção?
• Observação: onde o processo consegue confirmar o resultado e onde a informação é indisponível?

Defina os estados antes de contar os casos. Preserve os que não puderam ser observados e explique seu significado na análise. Uma ausência de registro não deve ser convertida automaticamente em sucesso ou falha.

Observe retorno, continuidade e custo de conferir

Nos testes, confira se a pessoa precisaria refazer o percurso para obter a orientação necessária e se o próximo responsável receberia contexto suficiente. Uma nova interação pode indicar dúvida remanescente, mas também pode tratar de outro assunto. Essa interpretação exige conhecer a solicitação e o resultado esperado, sem reduzir tudo a uma contagem de mensagens.

Inclua o esforço humano de conferir fontes, corrigir a saída e resolver exceções, além dos custos de uso e manutenção. Para aprofundar a passagem entre assistente e equipe, consulte o artigo sobre encaminhamento de exceções com contexto. Resolva lacunas de observação antes de apresentar uma taxa como evidência de melhoria.

Faça um resultado observável orientar o piloto

O próximo passo é escolher uma solicitação, escrever seu critério de conclusão e montar casos fictícios com resultados esperados. Peça a duas pessoas que usem a mesma ficha e discutam diferenças de interpretação. Ajustem o critério antes de ampliar o teste, deixando explícito o que ainda depende de acompanhamento.

A Orbite Consulting oferece implantação assistida de agentes de IA, com diagnóstico e validação conforme o projeto. A avaliação de atendimento deve considerar o trabalho completo e as integrações autorizadas. Este roteiro não anuncia um painel automático de resolução nem garante redução de tempo, custo ou demanda humana.