Cenários concretos
Descreva a situação, a entrada e o comportamento que você quer proteger para que o caso represente um cenário deliberado, não uma instrução vaga.
A Mibo ajuda equipes a descrever um cenário real do agente, adicionar verificações semânticas e procedurais, executar casos selecionados de forma deliberada e avaliar traces aplicáveis quando houver evidências disponíveis.
As equipes precisam transformar uma situação real do cliente em uma entrada concreta, um comportamento esperado e evidências que possam analisar. A Mibo mantém essas partes juntas sem tratar um cenário como uma afirmação sobre todas as interações.
Descreva a situação, a entrada e o comportamento que você quer proteger para que o caso represente um cenário deliberado, não uma instrução vaga.
Escreva critérios sobre significado, segurança, completude ou alinhamento em linguagem natural. O avaliador pontua a resposta e o contexto disponível segundo o que você descreveu.
Verifique fatos observáveis como chamadas de nós ou ferramentas, argumentos, status, schema, tempo ou uso de tokens quando a resposta ativa ou o trace contiver os campos necessários.
Crie um caso focado, escolha as verificações que expressam seu comportamento e use o resultado para decidir o que analisar em seguida. Execuções ativas e traces passivos continuam sendo sinais distintos.
01
Escreva a situação do cliente e a entrada que deve exercitá-la. Inclua o resultado esperado e qualquer condição importante de segurança ou caso extremo.
02
Combine critérios semânticos com verificações procedurais para a resposta e as evidências de execução que seu agente pode expor. Defina limites e valores esperados de forma deliberada.
03
Execute o caso selecionado em um agente conectado e depois avalie de forma assíncrona os traces canônicos aplicáveis de interações reais quando seu sistema os enviar.
Descreva o que significa uma resposta ser útil, segura, completa ou fundamentada. A pontuação é uma evidência para análise e depende da resposta e do contexto disponíveis para o avaliador.
Confirme fatos determinísticos como uma chamada obrigatória de ferramenta, um argumento, um campo de resposta, um status HTTP, um schema, um limite de tempo ou o uso de tokens. Campos ausentes no trace aparecem como instrumentação ausente.
É um cenário definido com uma entrada, um comportamento esperado e verificações que a Mibo pode avaliar. As verificações podem descrever o significado da resposta ou analisar fatos observáveis como chamadas de ferramentas, argumentos, status, schema, tempo ou tokens.
Um caso de teste é a definição concreta do cenário e das verificações. A Mibo avalia suas verificações configuradas durante uma execução ativa deliberada e pode reutilizar casos ativos aplicáveis quando seu sistema envia traces de interações reais.
Sim. O teste ativo envia a entrada selecionada ao agente conectado e avalia a resposta e as evidências de execução disponíveis. O resultado é uma evidência para esse cenário, não uma prova sobre casos não observados.
Sim, quando o teste está ativo e é elegível para avaliação passiva e seu sistema envia um trace canônico depois da interação. A Mibo classifica os cenários aplicáveis e os avalia de forma assíncrona sem chamar o agente novamente.
A Mibo informa instrumentação ausente para verificações compatíveis que não encontram o campo necessário no trace, em vez de tratar a verificação silenciosamente como aprovada ou reprovada. Adicione os campos relevantes se essa evidência for importante para o seu fluxo.
Não. O sinal é limitado pelos cenários e verificações que você configura, pelas entradas e traces disponíveis, pela classificação, pela instrumentação e pela amplitude das interações que você exercita ou observa. A Mibo não afirma qualidade garantida nem correção automática.
Use a documentação mantida para definir cenários, entradas, verificações e comportamento passivo.
Ler a documentação →Consulte as verificações semânticas e procedurais disponíveis e as evidências de trace que cada uma pode usar.
Ler a documentação de verificações →Defina cenários, execute verificações ativas antes do lançamento e reutilize-as para avaliar traces passivos de produção.
Explorar testes de agentes →Entenda como a Mibo avalia o comportamento configurado além do código de resposta.
Explorar avaliação →Veja quais cenários condicionais correspondem ao tráfego real sem confundir cobertura observada com resultados das verificações.
Explorar cobertura →Siga um fluxo prático para cenários, verificações, execuções ativas, traces passivos e limites de interpretação.
Ler o guia →Execute a verificação de confiabilidade ao vivo com uma solicitação sintética de cliente.
Executar verificação →