Pular para o conteúdo principal
Entrar Começar

Encontre mudanças no comportamento do agente.

Uma mudança no prompt pode alterar a ferramenta que o agente chama. Compare traces do mesmo cenário para ver o que mudou.

Começar grátisExplorar casos de teste

Compare o comportamento antes e depois de uma mudança

Uma versão pode manter a resposta e mudar um argumento de ferramenta. Mantenha a solicitação e o estado das ferramentas para comparar as duas versões com a mesma regra.

Compare execuções de um cenário conhecido

Execute você mesmo os mesmos dados em cada versão e envie as execuções registradas por OTLP para avaliação.

Avaliação de traces de produção

Após uma interação, envie a execução registrada por OTLP. O Mibo avalia as verificações aplicáveis sem chamar o agente novamente.

Um sinal limitado

Interprete os resultados considerando as verificações definidas, a instrumentação incluída no trace, a classificação da entrada e a amplitude dos cenários exercitados ou observados.

Compare versões com casos controlados

Compare a mesma expectativa antes e depois de uma mudança.

  1. Mantenha a mesma condição de teste

    Execute as duas versões no seu sistema com a mesma solicitação e estado controlado das ferramentas. Registre as versões do prompt, modelo e suíte.

  2. Avalie as evidências registradas

    Envie ambas as execuções como traces e inspecione as mesmas verificações configuradas. Compare argumentos e critérios de resposta, além do texto final.

  3. Revise os casos próximos

    Após a correção, repita o caso, um sucesso autorizado e uma falha de ferramenta. Sua equipe executa o agente e decide o lançamento; Mibo avalia os traces recebidos.

Compare a resposta e a chamada à ferramenta

Verificações semânticas

Aplique o mesmo critério escrito de resposta às duas versões. Verifique se uma resposta alterada ainda explica o resultado com precisão.

Verificações procedurais

Compare o nome da ferramenta e o argumento de conta registrados com os mesmos valores esperados. Um argumento diferente pode reprovar a verificação mesmo sem mudar a resposta.

Perguntas frequentes

O que diferencia testes de regressão de agentes de IA de uma execução pontual?

Testes de regressão comparam o mesmo comportamento definido entre mudanças. Execute cenários comparáveis e avalie os traces com verificações configuradas.

A Mibo testa o agente novamente quando avalia um trace de produção?

Após uma interação, envie a execução registrada por OTLP. O Mibo avalia as verificações aplicáveis sem chamar o agente novamente.

Como a Mibo decide quais testes de regressão se aplicam a uma interação real?

A Mibo usa a entrada disponível no trace para classificar quais testes condicionais de cenário são relevantes. Verificações universais podem ser aplicadas a todo trace, enquanto um teste pode não estar disponível quando o trace não tem uma correspondência utilizável ou não contém as evidências necessárias.

Os testes de regressão de agentes de IA podem garantir cobertura completa?

Não. Os resultados são limitados pelos cenários e verificações que você configura, pelas interações que acontecem, pelo sinal de classificação e pela instrumentação e pelos campos que você envia. A Mibo não afirma cobertura completa, qualidade garantida ou correção automática.

O que acontece quando uma verificação precisa de dados que o trace não inclui?

O resultado depende da verificação. Algumas informam instrumentação ausente; outras avaliam o valor ausente conforme a condição configurada. Confira os campos necessários e o comportamento da verificação antes de interpretar o resultado.

Como a Mibo trata a privacidade dos traces?

Os payloads dos traces são criptografados em repouso, e o acesso no produto é limitado à conta proprietária. Envie dados sintéticos ou devidamente governados de acordo com seus próprios requisitos de privacidade.

Continue investigando