Zum Hauptinhalt springen
Anmelden Loslegen

Teste, was dein KI-Agent sagt und tut.

Prüfe, ob der Agent richtig antwortet und handelt. Beginne mit einem aufgezeichneten Trace und erstelle darauf aufbauende Tests.

Kostenlos startenTestfälle entdecken

Eine korrekte Antwort kann eine falsche Aktion verdecken

Definiere den erwarteten Ablauf, die Werkzeugargumente und die Antwort für eine Anfrage. Prüfe sie einzeln: Ein Agent kann den richtigen Weg wählen und trotzdem das falsche Konto ändern.

Falsches Routing

Prüfe, ob eine Anfrage den richtigen Spezialisten und Workflow erreicht – nicht nur, ob der Endpoint antwortet.

Tool-Verhalten

Überprüfe Aufrufe, Argumente und andere beobachtbare Fakten im Trace des Agenten.

Unvollständige Antwort

Bewerte, ob die Antwort klar, sicher und auf das gewünschte Kundenergebnis ausgerichtet ist.

Prüfe den Verhaltensvertrag

Definiere einen Vertrag und prüfe die Ausführung.

  1. Definiere das erwartete Ergebnis

    Lege die erlaubte Aktion, erforderliche Argumente und zulässige Aussagen fest. Ergänze einen verbotenen Ablauf und einen Werkzeugfehler.

  2. Prüfe die Belege

    Untersuche Eingabe, Antwort, Aufrufe und aufgezeichnete Ergebnisse. Prüfe, ob die benötigten Felder erfasst werden, bevor du ihr Fehlen bewertest.

  3. Mache einen Fehler zum Test

    Lass die KI anhand eines vorhandenen Traces Prüfungen entwerfen, prüfe und speichere sie. Bewerte spätere Traces und vergleiche eine korrekte mit einer absichtlich fehlerhaften Ausführung.

Sieh, was im Trace passiert ist

Semantische Prüfungen

Bewerte Bedeutung, Sicherheit, Vollständigkeit und Übereinstimmung mit dem beschriebenen Ergebnis statt einer festen Zeichenfolge.

Prozedurale Prüfungen

Untersuche Ausführungsfakten wie Tool-Aufrufe, Argumente, Attribute, HTTP-Status und Schema.

Häufig gestellte Fragen

Was testet Mibo bei einem KI-Agenten?

Mibo bewertet das von dir beschriebene Verhalten einschließlich der Antwort und beobachtbarer Ausführungsnachweise wie Routing, Tool-Aufrufe, Werte und Status. Regelbasierte Prüfungen verifizieren Fakten, während KI-gestützte Prüfungen Antworten anhand natürlichsprachlicher Kriterien bewerten.

Kann ich einen Agenten vor und nach dem Release testen?

Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.

Fügt die Trace-Auswertung Mibo in den Anfragepfad ein?

Nein. Dein System verarbeitet die Interaktion und sendet danach einen Trace an Mibo. Mibo bewertet den Trace asynchron im Hintergrund.

Mehr entdecken