Aller au contenu principal
Se connecter Commencer

Surveillez le comportement de votre agent en production.

Un endpoint peut être disponible alors que son agent choisit le mauvais outil. Évaluez les traces de production pour examiner son comportement.

Commencer gratuitementExplorer les cas de test

Suivez une interaction en production

Vérifications sémantiques

Vérifiez si la réponse concorde avec le résultat enregistré. Pour un suivi de commande, un délai de consultation dépassé ne justifie pas une affirmation d’expédition.

Vérifications procédurales

Inspectez le résultat et la durée de la consultation derrière la réponse. Confirmez que la trace contient l’appel concerné avant d’interpréter un résultat manquant.

Repérez les lacunes derrière les échecs

Séparez les traces correspondant à un scénario des demandes qui nécessitent une classification ou un nouveau test.

Échantillon de production synthétique 7 jours · 12 traces capturées
Classification des tracesTraces uniquesQue faut-il analyser ?
Avec un scénario correspondant 8 Ouvrez les résultats des vérifications ; une correspondance n’est pas un verdict de réussite.
Sans scénario correspondant 2 Examinez les demandes et décidez d’ajouter ou d’affiner un scénario.
Entrée manquante 1 Inspectez l’instrumentation avant d’interpréter la couverture des scénarios.
Classification indisponible 1 Cherchez pourquoi la classification était indisponible ; ne comptez pas cela comme une réussite.

Résiliation correspond à 5 traces et suivi de commande à 4 ; une trace correspond aux deux. Cela fait 9 correspondances de scénario pour 8 traces uniques. Examen du remboursement n’a reçu aucun trafic. Ces nombres décrivent cet échantillon, pas toutes les interactions de production.

Examinez la couverture des scénarios

Choisissez la prochaine trace à examiner

Le dernier résultat de chaque test indique par où commencer. Il ne décrit pas toutes les exécutions de la période.

Matrice synthétique des derniers résultats
ScénarioRésultats par étapeMotif d’analyse
Résiliation
Routage
RÉUSSI
Arguments
ÉCHEC
L’outil a reçu le compte 4821 ; la demande concernait le compte 4812.
Suivi de commande
Outil
ÉCHEC
Réponse
ÉCHEC
La consultation a dépassé le délai, mais la réponse a affirmé que la commande avait été expédiée.
Examen du remboursement
Outil
SANS DONNÉES
Réponse
SANS DONNÉES
Aucun résultat n’est disponible pour ce test. Recueillez une trace pertinente avant de juger ce test.

Ouvrez la trace, comparez la vérification aux preuves et confirmez la capture des champs nécessaires avant de choisir une correction.

Une réponse réussie masque une consultation en échec

Analyse de production synthétique

Attente
L’agent doit vérifier le statut de la commande avant d’affirmer son expédition.
Exécution enregistrée
La consultation dépasse le délai. La réponse affirme pourtant que la commande a été expédiée. Le point d’accès client a renvoyé un succès.
Résultat
L’affirmation contredit le résultat enregistré de l’outil. Analysez le critère de réponse et la gestion du délai dépassé.
Prochaine analyse
Inspectez d’autres traces de suivi de commande sur la même période. Cet exemple n’établit pas la fréquence de l’échec.

Questions fréquentes

Pourquoi le monitoring de disponibilité ne suffit-il pas pour les agents IA ?

Un agent peut renvoyer une réponse HTTP réussie tout en choisissant le mauvais outil, en inventant un résultat ou en donnant une réponse incomplète. Mibo évalue le comportement configuré et les preuves de la trace, pas seulement la disponibilité de l’endpoint.

Que se passe-t-il lorsqu’une trace arrive dans Mibo ?

Après une interaction, envoyez son exécution enregistrée par OTLP. Mibo évalue les contrôles applicables sans rappeler l’agent.

L’évaluation des traces place-t-elle Mibo dans le parcours de la requête ?

Non. Votre système traite d’abord la requête client et envoie séparément la trace à Mibo. La réponse d’ingestion est indépendante de l’évaluation en arrière-plan.

Mibo peut-il garantir une couverture complète ou corriger automatiquement les régressions ?

Non. La couverture dépend des contrôles, de la classification et des éléments capturés. Mibo ne corrige pas automatiquement les régressions.

Comment Mibo protège-t-il la confidentialité des traces ?

Les contenus des traces sont chiffrés au repos et l’accès dans le produit est limité au compte qui les possède. Envoyez des données synthétiques ou correctement gouvernées selon vos propres exigences de confidentialité.

Poursuivre l’analyse