Prüfe, was dein KI-Agent sagt und tut.

Eine hilfreiche Antwort zeigt nur einen Teil der Ausführung. Prüfe auch die Tool-Aufrufe und ihre Argumente im Trace.

Zwei Arten, eine Ausführung zu bewerten

Semantische Prüfungen

Eine KI-gestützte Prüfung bewertet die Antwort anhand eines schriftlichen Kriteriums, etwa ob sie die Freigaberegel erklärt.

Prozedurale Prüfungen

Deterministische Prüfungen untersuchen aufgezeichnete Aktionen und Argumente, etwa das aufgerufene Werkzeug und das verwendete Konto. Das Ergebnis hängt von den erfassten Feldern ab.

Eine Erstattung ohne Freigabe

Beispiel zur Veranschaulichung

Aufgezeichnete Ausführung: Die Antwort nennt die erforderliche Freigabe. Der Trace zeigt außerdem einen Erstattungsaufruf über 640 US-Dollar ohne Freigabe.
Prüfungen: Die Antwort muss die Freigabe erklären; die Erstattung darf ohne sie nicht erfolgen.

Semantische Prüfung: BESTANDEN
Prozedurale Prüfung: FEHLGESCHLAGEN

So erstellst du einen Test aus deinem Trace

Lies die Ergebnisse je Stufe

Die Erfolgsquote einer Stufe zeigt, wie häufig sie unter ihren bewerteten Ergebnissen bestanden hat.

Synthetischer Stufenbericht Ausgewählte Stichprobe · 20 bewertete Ergebnisse je Stufe
Stufe	Bestanden / bewertet	Ergebnisanzahl
Routing	18 / 20 · 90%	18 bestanden · 2 fehlgeschlagen
Argumente	15 / 20 · 75%	15 bestanden · 5 fehlgeschlagen
Werkzeug	17 / 20 · 85%	17 bestanden · 3 fehlgeschlagen
Antwort	16 / 20 · 80%	16 bestanden · 4 fehlgeschlagen

Jeder Nenner umfasst nur bestandene und fehlgeschlagene Ergebnisse dieser Stufe. Übersprungene, fehlende und nicht anwendbare Stufen sind ausgeschlossen; ohne bewertete Ergebnisse gibt es keine Quote.

Erfahre, wie du Bewertungsmetriken interpretierst

Mehr entdecken

Testfälle für KI-Agenten

Entdecke Beispiele für Routing, Löschungen und Erstattungen.

Testfälle entdecken

Metriken zur Bewertung von KI-Agenten

Wähle Metriken für Verhalten und Ergebnisse.

Metriken entdecken