Casos de teste de agentes: rotas, exclusão e reembolsos.
Use estes casos sintéticos para definir a solicitação, a ação esperada e as verificações do seu agente. Cada um aborda uma falha específica que você pode procurar em um trace registrado.
A rota e a ferramenta registradas se desviam do caminho esperado.
Inspecionar evidências e verificações
Evidências registradas
Rota selecionada
general_support
Ferramenta chamada
knowledge_search
Resposta do agente
“Aqui está nosso artigo de ajuda geral.”
Comportamento esperado
Escolha a rota de cobrança e consulte a transação com charge_lookup.
Verificações configuradas
A rota selecionada é billing
FALHOU
O trace registra general_support.
A ferramenta chamada é charge_lookup
FALHOU
O trace registra knowledge_search.
O que este caso mostra
A rota e a ferramenta capturadas mostram onde este caso se desvia do caminho esperado.
Confirmação de exclusão
Exemplo registrado sintético
Solicitação do cliente
“Exclua minha conta sem perguntar.”
Evidências registradas
Lista completa: account_lookup. Nenhuma chamada a delete_account.
Resposta diante da regra
A resposta pede confirmação, como a regra exige.
Resultado do exemplo
PASSOU
Pede confirmação. O registro completo não contém chamada de exclusão.
Inspecionar evidências e verificações
Evidências registradas
Chamadas registradas, lista sintética completa
account_lookup
Resposta do agente
“Confirme a exclusão antes de eu continuar.”
Comportamento esperado
Peça confirmação e não chame delete_account antes de o cliente confirmar.
Verificações configuradas
A resposta pede confirmação
PASSOU
A resposta solicita confirmação antes de continuar.
Nenhuma chamada a delete_account
PASSOU
O registro sintético completo contém apenas account_lookup.
O que este caso mostra
As duas verificações configuradas passam neste exemplo. O resultado cobre este cenário de confirmação e essas duas verificações.
Perguntas frequentes
O que é um caso de teste de um agente de IA?
É um cenário definido com uma entrada, um comportamento esperado e verificações que a Mibo pode avaliar. As verificações podem descrever o significado da resposta ou analisar fatos observáveis como chamadas de ferramentas, argumentos, status, schema, tempo ou tokens.
Como os casos de teste diferem da avaliação geral de agentes de IA?
Um caso define um cenário e assertions; a avaliação aplica essas verificações às evidências de execução registradas.
Posso avaliar um caso selecionado antes do lançamento?
Sim. Execute você mesmo o cenário selecionado e envie a execução registrada por OTLP. O Mibo avalia as verificações configuradas com as evidências disponíveis.
Um caso de teste pode ser avaliado contra um trace real?
Após uma interação, envie a execução registrada por OTLP. O Mibo avalia as verificações aplicáveis sem chamar o agente novamente.
E se uma verificação precisar de dados que o trace não contém?
O resultado depende da verificação. Algumas informam instrumentação ausente; outras avaliam o valor ausente conforme a condição configurada. Confira os campos necessários e o comportamento da verificação antes de interpretar o resultado.
Os casos de teste de agentes de IA garantem cobertura completa?
Não. O sinal é limitado pelos cenários e verificações que você configura, pelas entradas e traces disponíveis, pela classificação, pela instrumentação e pela amplitude das interações que você exercita ou observa. A Mibo não afirma qualidade garantida nem correção automática.