Zum Hauptinhalt springen
Anmelden Loslegen

Prüfe das Verhalten deines Agenten in Produktion.

Ein Endpoint kann erreichbar sein, während sein Agent das falsche Tool wählt. Werte Produktions-Traces aus, um das Verhalten zu untersuchen.

Kostenlos startenTestfälle entdecken

Eine Produktionsinteraktion verfolgen

Semantische Prüfungen

Prüfe, ob die Antwort zum aufgezeichneten Ergebnis passt. Bei einer Bestellstatus-Anfrage belegt ein Abfrage-Timeout nicht, dass die Bestellung versandt wurde.

Prozedurale Prüfungen

Prüfe Ergebnis und Dauer der Abfrage hinter der Antwort. Bestätige, dass der Trace den betreffenden Werkzeugaufruf enthält, bevor du ein fehlendes Ergebnis deutest.

Finde die Lücken hinter den Fehlern

Trenne Traces mit einem passenden Szenario von Anfragen, die eine Klassifizierung oder einen neuen Test brauchen.

Synthetische Produktionsstichprobe 7 Tage · 12 erfasste Traces
Trace-KlassifizierungEindeutige TracesWas du untersuchen solltest
Passendes Szenario 8 Öffne die Prüfergebnisse; ein Szenario-Treffer ist kein bestandener Test.
Kein passendes Szenario 2 Prüfe die Anfragen und entscheide, ob du ein Szenario ergänzen oder anpassen solltest.
Fehlende Eingabe 1 Prüfe die Instrumentierung, bevor du die Szenario-Abdeckung deutest.
Klassifizierung nicht verfügbar 1 Untersuche, warum die Klassifizierung nicht verfügbar war; zähle dies nicht als Erfolg.

Kündigung passt zu 5 Traces und Bestellstatus zu 4; ein Trace passt zu beiden. Das sind 9 Szenario-Treffer über 8 eindeutige Traces. Für Rückzahlungsprüfung gab es keinen Traffic. Die Zahlen beschreiben diese Stichprobe, nicht alle Produktionsinteraktionen.

Prüfe die Szenario-Abdeckung

Wähle den nächsten Trace zur Untersuchung

Das neueste Ergebnis jedes Tests zeigt, wo du beginnen kannst. Es beschreibt nicht alle Ausführungen im Zeitraum.

Synthetische Matrix der neuesten Ergebnisse
SzenarioStufenergebnisseUntersuchungsgrund
Kündigung
Routing
BESTANDEN
Argumente
FEHLGESCHLAGEN
Das Werkzeug erhielt Konto 4821; die Anfrage betraf Konto 4812.
Bestellstatus
Werkzeug
FEHLGESCHLAGEN
Antwort
FEHLGESCHLAGEN
Die Abfrage überschritt das Zeitlimit, doch die Antwort behauptete, die Bestellung sei versandt.
Rückzahlungsprüfung
Werkzeug
KEINE DATEN
Antwort
KEINE DATEN
Für diesen Test liegt kein Ergebnis vor. Erfasse einen passenden Trace, bevor du diesen Test beurteilst.

Öffne den Trace, vergleiche die Prüfung mit ihren Belegen und bestätige die Erfassung der nötigen Felder, bevor du eine Korrektur festlegst.

Eine erfolgreiche Antwort verdeckt eine fehlgeschlagene Abfrage

Synthetische Produktionsanalyse

Erwartung
Der Agent muss den Bestellstatus prüfen, bevor er den Versand bestätigt.
Aufgezeichnete Ausführung
Die Bestellabfrage überschreitet das Zeitlimit. Die Antwort behauptet trotzdem, die Bestellung sei versandt. Der Kundenendpunkt meldet Erfolg.
Ergebnis
Die Abschlussbehauptung widerspricht dem aufgezeichneten Werkzeugergebnis. Untersuche das Antwortkriterium und den Umgang mit dem Timeout.
Nächste Untersuchung
Prüfe weitere Bestellstatus-Traces aus demselben Zeitraum. Dieses Beispiel belegt keine Fehlerhäufigkeit.

Häufig gestellte Fragen

Warum reicht Verfügbarkeitsmonitoring für KI-Agenten nicht aus?

Ein Agent kann eine erfolgreiche HTTP-Antwort liefern und trotzdem das falsche Tool wählen, ein Ergebnis erfinden oder unvollständig antworten. Mibo evaluiert konfiguriertes Verhalten und Trace-Nachweise, nicht nur die Erreichbarkeit des Endpunkts.

Was geschieht, wenn ein Trace Mibo erreicht?

Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.

Fügt die Trace-Auswertung Mibo in den Anfragepfad ein?

Nein. Dein System verarbeitet zuerst die Kundenanfrage und sendet den Trace separat an Mibo. Die Ingestionsantwort ist von der Evaluierung im Hintergrund getrennt.

Kann Mibo vollständige Abdeckung garantieren oder Regressionen automatisch beheben?

Nein. Die Abdeckung hängt von Prüfungen, Klassifizierung und erfassten Nachweisen ab. Mibo behebt Regressionen nicht automatisch.

Wie schützt Mibo die Vertraulichkeit von Traces?

Trace-Inhalte werden im Ruhezustand verschlüsselt, und der Produktzugriff ist auf das besitzende Konto beschränkt. Sende synthetische oder angemessen verwaltete Daten entsprechend deinen eigenen Datenschutzanforderungen.

Weiter untersuchen