Zum Hauptinhalt springen

Mibo überwacht das Verhalten, das Nutzer in der Produktion tatsächlich erleben.

Mibo evaluiert Produktions-Traces anhand der von Ihnen definierten aktiven Tests, speichert asynchrone Nachweise zur Untersuchung und bleibt außerhalb des Kundenanfragepfads.

Kostenlos startenMibo in Aktion ansehen

Die Verfügbarkeit kann einen gesunden Endpunkt anzeigen, obwohl sich der Agent falsch verhält.

Eine Anfrage kann erfolgreich abgeschlossen werden, während der Agent an den falschen Spezialisten weiterleitet, ein Tool mit unsicheren Argumenten aufruft oder eine unvollständige Antwort gibt. Mibo verwandelt den Produktions-Trace in untersuchbare Nachweise, statt Verfügbarkeit als Beleg für zuverlässiges Verhalten zu behandeln.

Produktions-Traces

Senden Sie nach einer realen Anfrage einen kanonischen Trace mit Interaktion, Antwort und Ausführungsdetails über OpenTelemetry oder Mibos Pfad Ihre API.

Asynchrone Nachweise

Mibo speichert den Trace und plant die zutreffenden aktiven Tests im Hintergrund. Die passive Evaluierung sendet keine weitere Anfrage an Ihr System.

Konfigurierte Prüfungen

Prüfen Sie semantisches Verhalten und prozedurale Fakten wie Tool-Aufrufe, Argumente, Status, Schema, Tokens und Antwortzeit, sofern der Trace die erforderlichen Felder enthält.

Ein Monitoring-Kreislauf zur Untersuchung von Agentenregressionen

Halten Sie die Produktionsevaluierung von der Kundeninteraktion getrennt und machen Sie Nachweise sowie deren Grenzen für das verantwortliche Team sichtbar.

01

Interaktion erfassen

Ihr System verarbeitet die Nutzeranfrage und sendet anschließend den kanonischen Trace mit Eingabe, Ausgabe und verfügbaren Ausführungsdetails zur Evaluierung an Mibo.

02

Außerhalb des Anfragepfads evaluieren

Mibo speichert den Trace und evaluiert ihn asynchron anhand der zutreffenden aktiven Tests. Die Ingestionsantwort wartet nicht auf den Abschluss der Evaluierung.

03

Regression untersuchen

Vergleichen Sie Ergebnisse im Zeitverlauf und öffnen Sie die Nachweise hinter einem Fehler. Nutzen Sie die Erkenntnisse, um eine Korrektur zu priorisieren; Mibo behebt den Agenten nicht automatisch.

Eine Regression vom Verhalten bis zu den Ausführungsnachweisen verfolgen

Verhaltensprüfungen

KI-gestützte semantische Prüfungen vergleichen die Antwort mit von Ihnen beschriebenen Kriterien wie Fundierung, Vollständigkeit, Sicherheit oder Zielausrichtung. Sie liefern Nachweise zur Untersuchung, keine Garantie für Wahrheit oder Gesamtqualität.

Ausführungsprüfungen

Deterministische Prüfungen untersuchen aufgezeichnete Fakten wie Knoten- oder Tool-Aufrufe, Argumente, Attribute, HTTP-Status, Schema, Token-Nutzung und Antwortzeit. Fehlende Felder werden als fehlende Instrumentierung gemeldet und nicht stillschweigend als bestanden oder fehlgeschlagen gewertet.

Häufig gestellte Fragen

Warum reicht Verfügbarkeitsmonitoring für KI-Agenten nicht aus?

Ein Agent kann eine erfolgreiche HTTP-Antwort liefern und trotzdem das falsche Tool wählen, ein Ergebnis erfinden oder unvollständig antworten. Mibo evaluiert konfiguriertes Verhalten und Trace-Nachweise, nicht nur die Erreichbarkeit des Endpunkts.

Was geschieht, wenn ein passiver Trace Mibo erreicht?

Ihr System sendet nach der Interaktion einen kanonischen Trace. Mibo speichert ihn, ermittelt die zutreffenden aktiven Tests und evaluiert ihn asynchron im Hintergrund. Bei der passiven Evaluierung wird Ihr Agent nicht erneut aufgerufen.

Fügt das passive Monitoring Mibo in den Kundenanfragepfad ein?

Nein. Ihr System verarbeitet zuerst die Kundenanfrage und sendet den Trace separat an Mibo. Die Ingestionsantwort ist von der Evaluierung im Hintergrund getrennt.

Kann Mibo vollständige Abdeckung garantieren oder Regressionen automatisch beheben?

Nein. Mibo evaluiert die aktiven Tests und verfügbaren Trace-Felder. Unbeobachtete Randfälle, enge Kriterien, nicht verfügbare Klassifizierung und fehlende Instrumentierung können das Signal begrenzen, und Mibo behebt den Agenten nicht automatisch.

Wie schützt Mibo die Vertraulichkeit von Traces?

Trace-Inhalte werden im Ruhezustand verschlüsselt, und der Produktzugriff ist auf das besitzende Konto beschränkt. Senden Sie synthetische oder angemessen verwaltete Daten entsprechend Ihren eigenen Datenschutzanforderungen.

Weiter untersuchen