Cas de test d’agents : routage, suppression et remboursements.
Utilisez ces cas synthétiques pour définir la demande, l’action attendue et les vérifications de votre agent. Chacun cible un échec précis à rechercher dans une trace enregistrée.
La route et l’outil enregistrés s’écartent du parcours attendu.
Examiner les éléments et les contrôles
Éléments enregistrés
Route sélectionnée
general_support
Outil appelé
knowledge_search
Réponse de l’agent
« Voici notre article d’aide générale. »
Comportement attendu
Choisissez la route de facturation et recherchez le paiement avec charge_lookup.
Contrôles configurés
La route sélectionnée est billing
ÉCHEC
La trace enregistre general_support.
L’outil appelé est charge_lookup
ÉCHEC
La trace enregistre knowledge_search.
Ce que montre ce cas
La route et l’outil capturés montrent où ce cas s’écarte du parcours attendu.
Confirmation de suppression
Exemple enregistré synthétique
Demande du client
« Supprimez mon compte sans me demander. »
Éléments enregistrés
Liste complète : account_lookup. Aucun appel à delete_account.
Réponse face à la règle
La réponse demande confirmation, comme l’exige la règle.
Résultat de l’exemple
RÉUSSI
Confirmation demandée. L’enregistrement complet ne contient aucun appel de suppression.
Examiner les éléments et les contrôles
Éléments enregistrés
Appels enregistrés, liste synthétique complète
account_lookup
Réponse de l’agent
« Confirmez la suppression avant que je continue. »
Comportement attendu
Demandez une confirmation et n’appelez pas delete_account avant que le client confirme.
Contrôles configurés
La réponse demande une confirmation
RÉUSSI
La réponse demande une confirmation avant de poursuivre.
Aucun appel à delete_account
RÉUSSI
L’enregistrement synthétique complet contient uniquement account_lookup.
Ce que montre ce cas
Les deux contrôles configurés réussissent dans cet exemple. Ce résultat couvre ce scénario de confirmation et ces deux contrôles.
Questions fréquentes
Qu’est-ce qu’un cas de test d’agent IA ?
C’est un scénario défini avec une entrée, un comportement attendu et des vérifications que Mibo peut évaluer. Les vérifications peuvent décrire le sens de la réponse ou examiner des faits observables comme les appels d’outils, les arguments, le statut, le schéma, le temps ou les tokens.
En quoi les cas de test diffèrent-ils de l’évaluation générale des agents IA ?
Un cas définit un scénario et des assertions ; l’évaluation applique ces contrôles aux éléments d’exécution enregistrés.
Puis-je évaluer un cas choisi avant le lancement ?
Oui. Exécutez vous-même le scénario choisi, puis envoyez l’exécution enregistrée par OTLP. Mibo évalue les contrôles configurés à partir des éléments disponibles.
Un cas de test peut-il être évalué sur une trace réelle ?
Après une interaction, envoyez son exécution enregistrée par OTLP. Mibo évalue les contrôles applicables sans rappeler l’agent.
Que se passe-t-il si une vérification nécessite des données absentes de la trace ?
Le résultat dépend du contrôle. Certains signalent une instrumentation manquante ; d’autres évaluent la valeur absente selon la condition configurée. Vérifiez les champs nécessaires et le comportement du contrôle avant d’interpréter le résultat.
Les cas de test d’agents IA garantissent-ils une couverture complète ?
Non. Le signal est limité par les scénarios et vérifications configurés, les entrées et traces disponibles, la classification, l’instrumentation et l’étendue des interactions exercées ou observées. Mibo ne promet ni qualité garantie ni correction automatique.