Aller au contenu principal
Se connecter Commencer

Repérez les changements de comportement de votre agent.

Une modification du prompt peut changer l’outil appelé par l’agent. Comparez les traces d’un même scénario pour voir ce qui a changé.

Commencer gratuitementExplorer les cas de test

Comparez le comportement avant et après un changement

Une version peut conserver la réponse tout en modifiant un argument d’outil. Gardez la demande et l’état des outils identiques pour comparer les deux versions à la même règle.

Comparez les exécutions d’un scénario connu

Exécutez vous-même les mêmes jeux de données sur chaque version, puis envoyez les exécutions enregistrées par OTLP pour évaluation.

Évaluation des traces de production

Après une interaction, envoyez son exécution enregistrée par OTLP. Mibo évalue les contrôles applicables sans rappeler l’agent.

Un signal limité

Interprétez les résultats selon les vérifications définies, l’instrumentation présente dans la trace, la classification de l’entrée et l’étendue des scénarios exercés ou observés.

Comparez les versions sur des cas contrôlés

Comparez la même attente avant et après un changement.

  1. Gardez les mêmes conditions de test

    Exécutez les deux versions dans votre système avec la même demande et un état contrôlé des outils. Notez les versions du prompt, du modèle et de la suite.

  2. Évaluez les preuves enregistrées

    Envoyez les deux exécutions sous forme de traces et inspectez les mêmes vérifications configurées. Comparez les arguments et les critères de réponse, au-delà du texte final.

  3. Vérifiez les cas voisins

    Après correction, rejouez le cas, un succès autorisé et un échec d’outil. Votre équipe exécute l’agent et décide du déploiement ; Mibo évalue les traces reçues.

Comparez la réponse et l’appel à l’outil

Vérifications sémantiques

Appliquez le même critère écrit de réponse aux deux versions. Vérifiez si une réponse modifiée explique toujours le résultat avec précision.

Vérifications procédurales

Comparez le nom de l’outil et l’argument de compte enregistrés aux mêmes valeurs attendues. Un argument modifié peut faire échouer la vérification même si la réponse reste identique.

Questions fréquentes

Qu’est-ce qui distingue les tests de régression des agents IA d’une exécution ponctuelle ?

Les tests de régression comparent un comportement défini au fil des changements. Exécutez des scénarios comparables et évaluez leurs traces avec les contrôles configurés.

Mibo teste-t-il à nouveau un agent lors de l’évaluation d’une trace de production ?

Après une interaction, envoyez son exécution enregistrée par OTLP. Mibo évalue les contrôles applicables sans rappeler l’agent.

Comment Mibo décide-t-il quels tests de régression s’appliquent à une interaction réelle ?

Mibo utilise l’entrée disponible dans la trace pour classer les tests conditionnels liés aux scénarios pertinents. Les vérifications universelles peuvent s’appliquer à chaque trace, tandis qu’un test peut ne pas être disponible si la trace n’offre pas de correspondance exploitable ou ne contient pas les preuves nécessaires.

Les tests de régression des agents IA peuvent-ils garantir une couverture complète ?

Non. Les résultats sont limités par les scénarios et vérifications que vous configurez, les interactions qui se produisent, le signal de classification, ainsi que l’instrumentation et les champs que vous envoyez. Mibo ne promet ni couverture complète, ni qualité garantie, ni correction automatique.

Que se passe-t-il lorsqu’une vérification nécessite des données absentes de la trace ?

Le résultat dépend du contrôle. Certains signalent une instrumentation manquante ; d’autres évaluent la valeur absente selon la condition configurée. Vérifiez les champs nécessaires et le comportement du contrôle avant d’interpréter le résultat.

Comment Mibo protège-t-il la confidentialité des traces ?

Les contenus des traces sont chiffrés au repos et l’accès dans le produit est limité au compte qui les possède. Envoyez des données synthétiques ou correctement gouvernées selon vos propres exigences de confidentialité.

Poursuivre l’analyse