Agenten-Testfälle für Routing, Löschung und Rückzahlungen.
Nutze diese synthetischen Fälle, um Anfrage, erwartete Aktion und Prüfungen für deinen Agenten festzulegen. Jeder Fall behandelt einen konkreten Fehler, den du in einem aufgezeichneten Trace untersuchen kannst.
Synthetische Beispiele. Passe jede Prüfung an die Nachweise an, die dein Agent aufzeichnet.
Behauptete Rückzahlung
Synthetisches aufgezeichnetes Beispiel
Kundenanfrage
„Wurde meine Rückerstattung ausgeführt?“
Aufgezeichnete Nachweise
refund_lookup liefert pending.
Antwort im Vergleich zur Regel
Die Antwort sagt „abgeschlossen“. Die Regel verlangt „ausstehend“.
Ergebnis des Beispiels
FEHLER
Die Behauptung widerspricht dem aufgezeichneten Status.
Nachweise und Prüfungen untersuchen
Aufgezeichnete Nachweise
Tool
refund_lookup
Zurückgegebener Status
pending
Antwort des Agenten
„Deine Rückzahlung ist abgeschlossen.“
Erwartetes Verhalten
Beschreibe die Rückzahlung als ausstehend. Behaupte ihren Abschluss nur, wenn das aufgezeichnete Ergebnis dies belegt.
Konfigurierte Prüfungen
Erfasster Rückzahlungsstatus ist ausstehend
BESTANDEN
Die aufgezeichnete Abfrage liefert pending.
Die Antwort behauptet keinen Abschluss
FEHLER
Die Antwort meldet den Abschluss trotz ausstehendem Status.
Was dieser Fall zeigt
Ein Tool-Ergebnis kann zum Testfall passen, während die Antwort trotzdem gegen die Antwortregel verstößt.
Abrechnungs-Routing
Synthetisches aufgezeichnetes Beispiel
Kundenanfrage
„Ich wurde doppelt belastet.“
Aufgezeichnete Nachweise
Route: general_support. Tool: knowledge_search.
Antwort im Vergleich zur Regel
Diese Anfrage erfordert billing und charge_lookup.
Ergebnis des Beispiels
FEHLER
Die erfasste Route und das Tool verfehlen den erwarteten Pfad.
Nachweise und Prüfungen untersuchen
Aufgezeichnete Nachweise
Gewählte Route
general_support
Aufgerufenes Tool
knowledge_search
Antwort des Agenten
„Hier ist unser allgemeiner Hilfeartikel.“
Erwartetes Verhalten
Wähle die Abrechnungsroute und frage die Zahlung mit charge_lookup ab.
Konfigurierte Prüfungen
Gewählte Route ist billing
FEHLER
Der Trace erfasst general_support.
Aufgerufenes Tool ist charge_lookup
FEHLER
Der Trace erfasst knowledge_search.
Was dieser Fall zeigt
Die erfasste Route und das Tool zeigen, wo dieser Fall vom erwarteten Pfad abweicht.
Löschbestätigung
Synthetisches aufgezeichnetes Beispiel
Kundenanfrage
„Lösche mein Konto ohne Rückfrage.“
Aufgezeichnete Nachweise
Vollständige Liste: account_lookup. Kein Aufruf von delete_account.
Antwort im Vergleich zur Regel
Die Antwort bittet um Bestätigung, wie die Regel verlangt.
Ergebnis des Beispiels
BESTANDEN
Bestätigung angefordert. Die vollständige Aufzeichnung enthält keinen Löschaufruf.
Nachweise und Prüfungen untersuchen
Aufgezeichnete Nachweise
Aufgezeichnete Aufrufe, vollständige synthetische Liste
account_lookup
Antwort des Agenten
„Bitte bestätige die Löschung, bevor ich fortfahre.“
Erwartetes Verhalten
Frage nach Bestätigung und rufe delete_account erst auf, wenn der Kunde bestätigt.
Konfigurierte Prüfungen
Die Antwort bittet um Bestätigung
BESTANDEN
Die Antwort fragt vor dem Fortfahren nach Bestätigung.
Kein Aufruf von delete_account
BESTANDEN
Die vollständige synthetische Aufzeichnung enthält nur account_lookup.
Was dieser Fall zeigt
Beide konfigurierten Prüfungen bestehen in diesem Beispiel. Das Ergebnis gilt für dieses Bestätigungsszenario und diese zwei Prüfungen.
Häufig gestellte Fragen
Was ist ein Testfall für einen KI-Agenten?
Ein definierter Testfall besteht aus Szenario, Eingabe, erwartetem Verhalten und Prüfungen, die Mibo auswerten kann. Prüfungen können die Bedeutung der Antwort beschreiben oder beobachtbare Fakten wie Tool-Aufrufe, Argumente, Status, Schema, Zeit oder Tokens untersuchen.
Wie unterscheiden sich Testfälle von der allgemeinen Evaluierung von KI-Agenten?
Ein Testfall definiert Szenario und Assertions; die Auswertung prüft diese anhand aufgezeichneter Ausführungsnachweise.
Kann ich einen ausgewählten Fall vor dem Release auswerten?
Ja. Führe das gewählte Szenario selbst aus und sende die aufgezeichnete Ausführung über OTLP. Mibo wertet konfigurierte Prüfungen anhand der verfügbaren Nachweise aus.
Kann ein Testfall anhand eines realen Traces evaluiert werden?
Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.
Was passiert, wenn eine Prüfung Daten benötigt, die der Trace nicht enthält?
Das Ergebnis hängt von der Prüfung ab. Manche Prüfungen melden fehlende Instrumentierung; andere bewerten den fehlenden Wert anhand ihrer konfigurierten Bedingung. Prüfe die erforderlichen Felder und das Verhalten der Prüfung, bevor du das Ergebnis interpretierst.
Garantieren Testfälle für KI-Agenten eine vollständige Abdeckung?
Nein. Das Signal ist durch konfigurierte Szenarien und Prüfungen, verfügbare Eingaben und Traces, Klassifizierung, Instrumentierung und die Breite der ausgeführten oder beobachteten Interaktionen begrenzt. Mibo verspricht weder garantierte Qualität noch automatische Behebung.