Découvrez quels scénarios de votre agent IA sont réellement couverts par le trafic.

Mibo relie les scénarios que vous définissez aux traces passives de production, sépare les scénarios avec trafic de ceux qui restent inactifs et présente les conversations sans correspondance comme des indices pour enrichir votre suite de tests.

Commencer gratuitement Lire la documentation des tests passifs

Une suite de tests peut sembler saine alors que des conversations réelles ne sont pas testées.

Les scénarios synthétiques montrent ce que vous avez choisi de vérifier. Le trafic de production révèle ce que les utilisateurs demandent réellement. Mibo distingue ces signaux afin qu’une correspondance observée constitue un indice utile, et non l’affirmation que toutes les interactions possibles sont couvertes.

Scénarios couverts

Un scénario conditionnel est couvert lorsque des traces de production classées lui correspondent pendant la période sélectionnée. Son volume de trafic n’est ni un taux de réussite ni un score d’exhaustivité.

Scénarios inactifs

Les scénarios conditionnels définis sans trafic correspondant restent visibles comme étant sans trafic. Il peut s’agir de cas limites importants ou de situations simplement non observées pendant la période.

Traces sans correspondance

Une trace classée qui ne correspond à aucun scénario conditionnel signale concrètement une lacune possible. Examinez-la et décidez si la conversation mérite un nouveau test.

Transformez le trafic réel en backlog de tests plus précis

Mibo relie les définitions de scénarios aux traces sans ajouter l’évaluation au parcours de la requête client. Utilisez le signal de couverture pour choisir la prochaine investigation.

Définissez le comportement

Créez des cas de test actifs avec des scénarios et des vérifications précises. Utilisez Exécuter pour les contrôles contextuels en production et conservez les invariants et les cas délibérés dans les modes passifs adaptés.

Envoyez des traces passives

Après une interaction réelle, votre système envoie une trace canonique à Mibo via OpenTelemetry ou Votre API. Mibo la stocke et programme son évaluation asynchrone par rapport aux tests actifs applicables.

Trouvez la prochaine lacune

Consultez la Couverture des scénarios pour distinguer les scénarios conditionnels avec trafic, ceux sans trafic et les traces classées sans correspondance. Utilisez ces éléments pour prioriser un test nouveau ou amélioré.

Mibo rend le signal de couverture honnête et exploitable

Couvert ne signifie pas réussi

La couverture signifie qu’une trace classée correspond à un scénario conditionnel. Ouvrez le résultat passif pour examiner les vérifications sémantiques et procédurales : la présence de trafic ne prouve pas à elle seule que l’agent s’est bien comporté.

Sans correspondance ne signifie pas en échec

L’absence de correspondance signifie que le classificateur n’a trouvé aucun scénario conditionnel pour cette trace. Mibo la distingue des échecs de vérification et identifie les cas à envisager pour enrichir la suite.

Questions fréquentes

Que signifie couvert dans Mibo ?

Un scénario conditionnel est couvert lorsqu’une ou plusieurs traces de production classées lui correspondent pendant la période sélectionnée. Cela décrit le trafic observé, pas la réussite des vérifications ni la couverture complète de toutes les interactions possibles.

Comment Mibo relie-t-il les scénarios de l’agent au trafic réel ?

Votre système envoie une trace après une interaction réelle via OpenTelemetry ou la voie Votre API de Mibo. Mibo compare l’entrée de la trace aux scénarios des cas de test conditionnels actifs, évalue les tests applicables de façon asynchrone et indique le scénario correspondant dans la Couverture des scénarios.

Que révèle une trace sans correspondance à mon équipe ?

Elle indique qu’une trace classée ne correspondait à aucun scénario conditionnel pendant la période sélectionnée. C’est une invitation à examiner la conversation et à décider s’il faut ajouter ou affiner un test, pas une preuve que l’agent a échoué.

La Couverture des scénarios prouve-t-elle que mon agent est entièrement testé ?

Non. Elle présente le trafic classé observé pour les scénarios conditionnels sur une période donnée. Les entrées vides, une classification indisponible, les contrôles uniquement actifs, les cas limites non observés et le trafic hors période peuvent limiter ce signal. Associez-le aux exécutions actives et aux éléments de chaque résultat passif.