Pular para o conteúdo principal
Entrar Começar

Acompanhe o comportamento do agente em produção.

Um endpoint pode estar disponível enquanto o agente escolhe a ferramenta errada. Avalie traces de produção para investigar seu comportamento.

Começar grátisExplorar casos de teste

Acompanhe uma interação em produção

Verificações semânticas

Verifique se a resposta corresponde ao resultado registrado. Em uma consulta de pedido, um timeout não sustenta a afirmação de que ele foi enviado.

Verificações procedurais

Inspecione o resultado e a duração da consulta por trás da resposta. Confirme que o trace capturou a chamada relevante antes de interpretar um resultado ausente.

Encontre as lacunas por trás das falhas

Separe traces que correspondem a um cenário de solicitações que precisam de classificação ou de um novo teste.

Amostra de produção sintética 7 dias · 12 traces capturados
Classificação dos tracesTraces únicosO que investigar
Correspondem a um cenário 8 Abra os resultados das verificações; uma correspondência não é uma aprovação.
Sem cenário correspondente 2 Revise as solicitações e decida se deve adicionar ou refinar um cenário.
Entrada ausente 1 Inspecione a instrumentação antes de interpretar a cobertura de cenários.
Classificação indisponível 1 Investigue por que a classificação ficou indisponível; não conte como aprovação.

Cancelamento correspondeu a 5 traces e status do pedido a 4; um trace correspondeu aos dois. São 9 correspondências de cenário em 8 traces únicos. Revisão de reembolso não teve tráfego. As contagens descrevem esta amostra, não todas as interações de produção.

Inspecione a cobertura de cenários

Escolha o próximo trace para inspecionar

O resultado mais recente de cada teste mostra por onde começar. Ele não descreve todas as execuções do período.

Matriz sintética de resultados mais recentes
CenárioResultados por etapaMotivo para investigar
Cancelamento
Roteamento
APROVADO
Argumentos
REPROVADO
A ferramenta recebeu a conta 4821; a solicitação era da conta 4812.
Status do pedido
Ferramenta
REPROVADO
Resposta
REPROVADO
A consulta excedeu o tempo limite, mas a resposta afirmou que o pedido foi enviado.
Revisão de reembolso
Ferramenta
SEM DADOS
Resposta
SEM DADOS
Não há resultado para este teste. Colete um trace relevante antes de avaliar este teste.

Abra o trace, compare a verificação com as evidências e confirme a captura dos campos necessários antes de decidir uma correção.

Uma resposta de sucesso esconde uma consulta que falhou

Investigação de produção sintética

Expectativa
O agente deve consultar o status do pedido antes de afirmar que ele foi enviado.
Execução registrada
A consulta do pedido excede o tempo limite. Mesmo assim, a resposta diz que ele foi enviado. O endpoint do cliente retornou sucesso.
Resultado
A afirmação de conclusão contradiz o resultado registrado. Investigue o critério de resposta e o tratamento do timeout.
Próxima investigação
Inspecione outros traces de status de pedidos do mesmo período. Este exemplo não estabelece a frequência da falha.

Perguntas frequentes

Por que o monitoramento de tempo de atividade não é suficiente para agentes de IA?

Um agente pode retornar uma resposta HTTP bem-sucedida enquanto escolhe a ferramenta errada, inventa um resultado ou fornece uma resposta incompleta. A Mibo avalia o comportamento configurado e as evidências do trace, não apenas se o endpoint estava disponível.

O que acontece quando um trace chega ao Mibo?

Após uma interação, envie a execução registrada por OTLP. O Mibo avalia as verificações aplicáveis sem chamar o agente novamente.

A avaliação de traces coloca o Mibo no caminho da solicitação?

Não. Seu sistema atende primeiro à solicitação do cliente e envia o trace à Mibo separadamente. A resposta de ingestão é independente da avaliação em segundo plano.

A Mibo pode garantir cobertura completa ou corrigir regressões automaticamente?

Não. A cobertura depende das verificações, classificação e evidências capturadas. O Mibo não corrige regressões automaticamente.

Como a Mibo trata a privacidade dos traces?

Os payloads dos traces são criptografados em repouso, e o acesso no produto é limitado à conta proprietária. Envie dados sintéticos ou devidamente governados de acordo com seus próprios requisitos de privacidade.

Continue investigando