Pular para o conteúdo principal

A Mibo monitora o comportamento que os usuários realmente encontram em produção.

A Mibo avalia traces de produção com os testes ativos que você define, armazena evidências assíncronas para investigação e permanece fora do caminho da solicitação do cliente.

Começar grátisVer a Mibo em ação

O tempo de atividade pode indicar um endpoint saudável enquanto o agente se comporta de forma incorreta.

Uma solicitação pode terminar com sucesso enquanto o agente encaminha para o especialista errado, chama uma ferramenta com argumentos inseguros ou fornece uma resposta incompleta. A Mibo transforma o trace de produção em evidências investigáveis, em vez de tratar a disponibilidade como prova de comportamento confiável.

Traces de produção

Envie um trace canônico com a interação, a resposta e os detalhes de execução após uma solicitação real por meio do OpenTelemetry ou do caminho Sua API da Mibo.

Evidências assíncronas

A Mibo armazena o trace e agenda os testes ativos aplicáveis em segundo plano. A avaliação passiva não envia outra solicitação ao seu sistema.

Verificações configuradas

Analise o comportamento semântico e fatos procedurais como chamadas de ferramentas, argumentos, status, schema, tokens e tempo de resposta quando o trace inclui os campos necessários.

Um ciclo de monitoramento para investigar regressões do agente

Mantenha a avaliação de produção separada da interação do cliente e torne visíveis as evidências e seus limites para a equipe responsável pelo agente.

01

Capture a interação

Seu sistema atende à solicitação do usuário e depois envia à Mibo o trace canônico com a entrada, a saída e os detalhes de execução disponíveis para avaliação.

02

Avalie fora do caminho da solicitação

A Mibo armazena o trace e o avalia de forma assíncrona com os testes ativos aplicáveis. A resposta de ingestão não espera a conclusão da avaliação.

03

Investigue uma regressão

Compare os resultados ao longo do tempo e abra as evidências por trás de uma falha. Use as descobertas para priorizar uma correção; a Mibo não corrige o agente automaticamente.

Acompanhe uma regressão do comportamento às evidências de execução

Verificações de comportamento

As verificações semânticas com IA comparam a resposta com critérios que você descreve, como fundamentação, completude, segurança ou alinhamento. Elas fornecem evidências para investigação, não uma garantia de verdade ou qualidade geral.

Verificações de execução

As verificações determinísticas analisam fatos registrados como chamadas de nós ou ferramentas, argumentos, atributos, status HTTP, schema, uso de tokens e tempo de resposta. Campos ausentes são informados como instrumentação ausente, não como aprovação ou falha silenciosa.

Perguntas frequentes

Por que o monitoramento de tempo de atividade não é suficiente para agentes de IA?

Um agente pode retornar uma resposta HTTP bem-sucedida enquanto escolhe a ferramenta errada, inventa um resultado ou fornece uma resposta incompleta. A Mibo avalia o comportamento configurado e as evidências do trace, não apenas se o endpoint estava disponível.

O que acontece quando um trace passivo chega à Mibo?

Seu sistema envia um trace canônico depois da interação. A Mibo o armazena, identifica os testes ativos aplicáveis e o avalia de forma assíncrona em segundo plano. Ela não chama o agente novamente durante a avaliação passiva.

O monitoramento passivo coloca a Mibo no caminho da solicitação do cliente?

Não. Seu sistema atende primeiro à solicitação do cliente e envia o trace à Mibo separadamente. A resposta de ingestão é independente da avaliação em segundo plano.

A Mibo pode garantir cobertura completa ou corrigir regressões automaticamente?

Não. A Mibo avalia os testes ativos e os campos de trace disponíveis. Casos extremos não observados, critérios estreitos, classificação indisponível e instrumentação ausente podem limitar o sinal, e a Mibo não corrige o agente automaticamente.

Como a Mibo trata a privacidade dos traces?

Os payloads dos traces são criptografados em repouso, e o acesso no produto é limitado à conta proprietária. Envie dados sintéticos ou devidamente governados de acordo com seus próprios requisitos de privacidade.

Continue investigando