Veja quais cenários do seu agente de IA são realmente cobertos pelo tráfego.

A Mibo conecta os cenários que você define a traces passivos de produção, separa cenários com tráfego daqueles que permanecem inativos e mostra conversas sem correspondência como evidência de onde sua suíte de testes pode crescer.

Começar grátis Ler a documentação de testes passivos

Uma suíte de testes pode parecer saudável enquanto conversas reais ficam sem teste.

Cenários sintéticos mostram o que você decidiu exercitar. O tráfego de produção revela o que as pessoas realmente perguntam. A Mibo mantém esses sinais separados para que uma correspondência observada seja uma evidência útil, e não uma alegação de que toda interação possível está coberta.

Cenários cobertos

Um cenário condicional está coberto quando traces de produção classificados correspondem a ele na janela selecionada. Seu volume de tráfego não é uma taxa de aprovação nem uma pontuação de completude.

Cenários inativos

Cenários condicionais definidos sem tráfego correspondente continuam visíveis como sem tráfego. Eles podem ser casos extremos importantes ou simplesmente não terem sido observados durante a janela.

Traces sem correspondência

Um trace classificado que não corresponde a nenhum cenário condicional é um sinal concreto de uma possível lacuna. Revise-o e decida se a conversa merece um novo teste.

Transforme tráfego real em um backlog de testes mais preciso

A Mibo conecta definições de cenários e traces sem adicionar a avaliação ao caminho da solicitação do cliente. Use o sinal de cobertura para decidir o que investigar em seguida.

Defina o comportamento

Crie casos de teste ativos com cenários e verificações específicas. Use Executar quando for relevante para verificações situacionais em produção; mantenha invariantes e casos deliberados nos modos passivos adequados.

Envie traces passivos

Depois de uma interação real, seu sistema envia um trace canônico à Mibo por OpenTelemetry ou pela Sua API. A Mibo o armazena e agenda a avaliação assíncrona em relação aos testes ativos aplicáveis.

Encontre a próxima lacuna

Revise a Cobertura de cenários para separar cenários condicionais com tráfego, cenários sem tráfego e traces classificados que não corresponderam a nada. Use a evidência para priorizar um teste novo ou aprimorado.

A Mibo torna o sinal de cobertura honesto e acionável

Coberto não significa aprovado

Cobertura significa que um trace classificado correspondeu a um cenário condicional. Abra o resultado passivo para revisar as verificações semânticas e procedurais; a presença de tráfego, por si só, não indica que o agente se comportou corretamente.

Sem correspondência não significa falha

Sem correspondência significa que o classificador não encontrou um cenário condicional para aquele trace. A Mibo mantém isso separado das falhas de verificação e identifica casos a considerar ao expandir a suíte.

Perguntas frequentes

O que significa coberto na Mibo?

Um cenário condicional está coberto quando um ou mais traces de produção classificados correspondem a ele durante a janela selecionada. Isso descreve o tráfego observado, não se as verificações foram aprovadas nem a cobertura completa de todas as interações possíveis.

Como a Mibo conecta cenários do agente ao tráfego real?

Seu sistema envia um trace após uma interação real por OpenTelemetry ou pela Sua API da Mibo. A Mibo compara a entrada do trace com os cenários dos casos de teste condicionais ativos, avalia os testes aplicáveis de forma assíncrona e informa o cenário correspondente na Cobertura de cenários.

O que um trace sem correspondência diz à minha equipe?

Ele informa que um trace classificado não correspondeu a nenhum cenário condicional na janela selecionada. Isso é um convite para revisar a conversa e decidir se um teste deve ser adicionado ou refinado, não uma prova de que o agente falhou.

A Cobertura de cenários prova que meu agente está totalmente testado?

Não. Ela informa o tráfego classificado observado para cenários condicionais em uma janela de tempo. Entradas vazias, classificação indisponível, verificações apenas ativas, casos extremos não observados e tráfego fora da janela podem limitar o sinal. Combine-o com execuções ativas e as evidências de cada resultado passivo.