Aller au contenu principal

Mibo surveille le comportement réellement rencontré par les utilisateurs en production.

Mibo évalue les traces de production avec les tests actifs que vous définissez, conserve des preuves asynchrones pour l’analyse et reste hors du parcours de la requête client.

Commencer gratuitementVoir Mibo en action

La disponibilité peut indiquer un endpoint sain alors que l’agent se comporte mal.

Une requête peut aboutir tandis que l’agent l’achemine vers le mauvais spécialiste, appelle un outil avec des arguments dangereux ou fournit une réponse incomplète. Mibo transforme la trace de production en preuves à examiner au lieu de considérer la disponibilité comme une preuve de fiabilité.

Traces de production

Envoyez une trace canonique avec l’interaction, la réponse et les détails d’exécution après une requête réelle via OpenTelemetry ou le parcours Votre API de Mibo.

Preuves asynchrones

Mibo stocke la trace et planifie en arrière-plan les tests actifs applicables. L’évaluation passive n’envoie pas de nouvelle requête à votre système.

Vérifications configurées

Examinez le comportement sémantique et les faits procéduraux tels que les appels d’outils, les arguments, le statut, le schéma, les tokens et le temps de réponse lorsque la trace contient les champs requis.

Une boucle de monitoring pour étudier les régressions de l’agent

Séparez l’évaluation en production de l’interaction client tout en rendant visibles les preuves et leurs limites pour l’équipe responsable de l’agent.

01

Capturez l’interaction

Votre système traite la requête utilisateur, puis envoie à Mibo la trace canonique avec l’entrée, la sortie et les détails d’exécution disponibles pour l’évaluation.

02

Évaluez hors du parcours de la requête

Mibo stocke la trace et l’évalue de manière asynchrone avec les tests actifs applicables. La réponse d’ingestion n’attend pas la fin de l’évaluation.

03

Étudiez une régression

Comparez les résultats dans le temps et ouvrez les preuves derrière un échec. Utilisez les constats pour prioriser un correctif ; Mibo ne corrige pas automatiquement l’agent.

Suivez une régression du comportement aux preuves d’exécution

Vérifications du comportement

Les vérifications sémantiques assistées par IA comparent la réponse aux critères que vous décrivez, comme la fidélité aux sources, l’exhaustivité, la sécurité ou l’alignement. Elles fournissent des preuves à examiner, pas une garantie de vérité ou de qualité globale.

Vérifications de l’exécution

Les vérifications déterministes examinent des faits enregistrés tels que les appels de nœuds ou d’outils, les arguments, les attributs, le statut HTTP, le schéma, l’utilisation des tokens et le temps de réponse. Les champs absents sont signalés comme une instrumentation manquante, pas comme une réussite ou un échec silencieux.

Questions fréquentes

Pourquoi le monitoring de disponibilité ne suffit-il pas pour les agents IA ?

Un agent peut renvoyer une réponse HTTP réussie tout en choisissant le mauvais outil, en inventant un résultat ou en donnant une réponse incomplète. Mibo évalue le comportement configuré et les preuves de la trace, pas seulement la disponibilité de l’endpoint.

Que se passe-t-il lorsqu’une trace passive arrive dans Mibo ?

Votre système envoie une trace canonique après l’interaction. Mibo la stocke, identifie les tests actifs applicables et l’évalue de manière asynchrone en arrière-plan. L’évaluation passive ne rappelle pas votre agent.

Le monitoring passif place-t-il Mibo dans le parcours de la requête client ?

Non. Votre système traite d’abord la requête client et envoie séparément la trace à Mibo. La réponse d’ingestion est indépendante de l’évaluation en arrière-plan.

Mibo peut-il garantir une couverture complète ou corriger automatiquement les régressions ?

Non. Mibo évalue les tests actifs et les champs de trace disponibles. Les cas limites non observés, des critères étroits, une classification indisponible et une instrumentation manquante peuvent limiter le signal, et Mibo ne corrige pas automatiquement l’agent.

Comment Mibo protège-t-il la confidentialité des traces ?

Les contenus des traces sont chiffrés au repos et l’accès dans le produit est limité au compte qui les possède. Envoyez des données synthétiques ou correctement gouvernées selon vos propres exigences de confidentialité.

Poursuivre l’analyse