Zum Hauptinhalt springen
Anmelden Loslegen

Erkenne Änderungen im Verhalten deines Agenten.

Eine Prompt-Änderung kann beeinflussen, welches Tool der Agent aufruft. Vergleiche Traces desselben Szenarios und sieh, was sich geändert hat.

Kostenlos startenTestfälle entdecken

Verhalten vor und nach einer Änderung vergleichen

Ein Release kann die Antwort beibehalten und ein Werkzeugargument ändern. Halte Anfrage und Werkzeugzustand konstant, um beide Versionen anhand derselben Regel zu vergleichen.

Ausführungen eines bekannten Szenarios vergleichen

Führe dieselben Testdaten selbst gegen jede Version aus und sende die aufgezeichneten Ausführungen über OTLP zur Auswertung.

Auswertung von Produktions-Traces

Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.

Ein begrenztes Signal

Interpretiere Ergebnisse im Rahmen der definierten Prüfungen, der im Trace enthaltenen Instrumentierung, der Eingangsklassifizierung und der Breite der ausgeführten oder beobachteten Szenarien.

Vergleiche Versionen unter kontrollierten Bedingungen

Vergleiche dieselbe Erwartung vor und nach einer Änderung.

  1. Halte die Testbedingungen konstant

    Führe beide Versionen in deinem System mit derselben Anfrage und kontrolliertem Werkzeugzustand aus. Notiere Prompt-, Modell- und Testsuite-Versionen.

  2. Bewerte die aufgezeichneten Belege

    Sende beide Ausführungen als Traces und prüfe dieselben konfigurierten Erwartungen. Vergleiche Argumente und Antwortkriterien statt nur den Wortlaut.

  3. Prüfe benachbarte Fälle

    Wiederhole nach der Korrektur den Fehlerfall, einen erlaubten Erfolgsfall und einen Werkzeugfehler. Dein Team führt den Agenten aus und entscheidet über Releases; Mibo bewertet empfangene Traces.

Antwort und Tool-Aufruf vergleichen

Semantische Prüfungen

Wende dasselbe schriftliche Antwortkriterium auf beide Versionen an. Prüfe, ob eine geänderte Antwort das Ergebnis weiterhin korrekt erklärt.

Prozedurale Prüfungen

Vergleiche den aufgezeichneten Werkzeugnamen und das Kontoargument mit denselben erwarteten Werten. Ein geändertes Argument kann die Prüfung verletzen, obwohl die Antwort gleich bleibt.

Häufig gestellte Fragen

Was unterscheidet Regressionstests für KI-Agenten von einem einmaligen Testlauf?

Regressionstests vergleichen definiertes Verhalten über Änderungen hinweg. Führe vergleichbare Szenarien selbst aus und werte ihre Traces mit konfigurierten Prüfungen aus.

Testet Mibo einen Agenten erneut, wenn ein Produktions-Trace ausgewertet wird?

Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.

Wie entscheidet Mibo, welche Regressionstests zu einer realen Interaktion passen?

Mibo verwendet die im Trace verfügbare Eingabe, um relevante szenariobedingte Tests zu klassifizieren. Universelle Prüfungen können auf jeden Trace angewendet werden; ein Test kann jedoch nicht verfügbar sein, wenn der Trace keine verwertbare Übereinstimmung oder die erforderlichen Nachweise enthält.

Können Regressionstests für KI-Agenten vollständige Abdeckung garantieren?

Nein. Ergebnisse sind durch die von dir konfigurierten Szenarien und Prüfungen, die auftretenden Interaktionen, das Klassifizierungssignal sowie die von dir gesendete Instrumentierung und Felder begrenzt. Mibo verspricht weder vollständige Abdeckung noch garantierte Qualität oder automatische Behebung.

Was passiert, wenn eine Prüfung Daten benötigt, die der Trace nicht enthält?

Das Ergebnis hängt von der Prüfung ab. Manche Prüfungen melden fehlende Instrumentierung; andere bewerten den fehlenden Wert anhand ihrer konfigurierten Bedingung. Prüfe die erforderlichen Felder und das Verhalten der Prüfung, bevor du das Ergebnis interpretierst.

Wie schützt Mibo die Vertraulichkeit von Traces?

Trace-Inhalte werden im Ruhezustand verschlüsselt, und der Produktzugriff ist auf das besitzende Konto beschränkt. Sende synthetische oder angemessen verwaltete Daten entsprechend deinen eigenen Datenschutzanforderungen.

Weiter untersuchen