Erkennen Sie, welche Szenarien Ihres KI-Agenten der reale Traffic tatsächlich abdeckt.

Mibo verbindet Ihre definierten Szenarien mit passiven Produktions-Traces, trennt Szenarien mit Traffic von inaktiven Szenarien und zeigt nicht zugeordnete Unterhaltungen als Hinweis darauf, wo Ihre Testsuite wachsen kann.

Kostenlos starten Dokumentation zu passiven Tests lesen

Eine Testsuite kann zuverlässig wirken, obwohl reale Unterhaltungen ungetestet bleiben.

Synthetische Szenarien zeigen, was Sie bewusst prüfen. Produktions-Traffic zeigt, was Menschen tatsächlich fragen. Mibo hält diese Signale getrennt, damit eine beobachtete Zuordnung als nützlicher Hinweis dient und nicht als Behauptung, dass jede mögliche Interaktion abgedeckt ist.

Abgedeckte Szenarien

Ein bedingtes Szenario gilt als abgedeckt, wenn klassifizierte Produktions-Traces im ausgewählten Zeitraum dazu passen. Sein Traffic-Volumen ist weder eine Erfolgsquote noch ein Vollständigkeitswert.

Inaktive Szenarien

Definierte bedingte Szenarien ohne passenden Traffic bleiben als ohne Traffic sichtbar. Sie können wichtige Grenzfälle sein oder im Zeitraum schlicht nicht aufgetreten sein.

Nicht zugeordnete Traces

Ein klassifizierter Trace, der keinem bedingten Szenario entspricht, ist ein konkreter Hinweis auf eine mögliche Lücke. Prüfen Sie ihn und entscheiden Sie, ob die Unterhaltung einen neuen Test verdient.

Machen Sie aus realem Traffic einen präziseren Test-Backlog

Mibo verbindet Szenariodefinitionen und Traces, ohne die Auswertung in den Anfragepfad des Kunden einzufügen. Nutzen Sie das Abdeckungssignal, um die nächste Untersuchung zu priorisieren.

Verhalten definieren

Erstellen Sie aktive Testfälle mit konkreten Szenarien und Prüfungen. Verwenden Sie Ausführen für situationsbezogene Produktionsprüfungen und halten Sie Invarianten sowie bewusst gewählte Fälle in den passenden passiven Modi.

Passive Traces senden

Nach einer realen Interaktion sendet Ihr System einen kanonischen Trace über OpenTelemetry oder Ihre API an Mibo. Mibo speichert ihn und plant die asynchrone Auswertung anhand der passenden aktiven Tests.

Die nächste Lücke finden

Prüfen Sie die Szenarioabdeckung, um bedingte Szenarien mit Traffic, Szenarien ohne Traffic und klassifizierte Traces ohne Zuordnung zu trennen. Nutzen Sie diese Hinweise, um einen neuen oder verbesserten Test zu priorisieren.

Mibo macht das Abdeckungssignal ehrlich und handlungsrelevant

Abgedeckt bedeutet nicht bestanden

Abdeckung bedeutet, dass ein klassifizierter Trace zu einem bedingten Szenario passt. Öffnen Sie das passive Ergebnis, um semantische und prozedurale Prüfungen zu untersuchen; Traffic allein belegt kein korrektes Agentenverhalten.

Nicht zugeordnet bedeutet nicht fehlgeschlagen

Keine Zuordnung bedeutet, dass der Klassifikator für diesen Trace kein bedingtes Szenario gefunden hat. Mibo trennt dies von fehlgeschlagenen Prüfungen und zeigt Fälle, die beim Ausbau der Testsuite berücksichtigt werden sollten.

Häufig gestellte Fragen

Was bedeutet abgedeckt in Mibo?

Ein bedingtes Szenario gilt als abgedeckt, wenn mindestens ein klassifizierter Produktions-Trace im ausgewählten Zeitraum dazu passt. Das beschreibt beobachteten Traffic, nicht das Bestehen der Prüfungen und auch keine vollständige Abdeckung aller möglichen Interaktionen.

Wie verbindet Mibo Agentenszenarien mit realem Traffic?

Ihr System sendet nach einer realen Interaktion einen Trace über OpenTelemetry oder den Pfad Ihre API von Mibo. Mibo vergleicht die Trace-Eingabe mit den Szenarien aktiver bedingter Testfälle, wertet passende Tests asynchron aus und zeigt das zugeordnete Szenario in der Szenarioabdeckung.

Was sagt ein nicht zugeordneter Trace meinem Team?

Er zeigt, dass ein klassifizierter Trace im ausgewählten Zeitraum zu keinem bedingten Szenario passte. Das ist ein Anlass, die Unterhaltung zu prüfen und über einen neuen oder verfeinerten Test zu entscheiden, kein Beweis für ein Fehlverhalten des Agenten.

Beweist die Szenarioabdeckung, dass mein Agent vollständig getestet ist?

Nein. Sie zeigt den beobachteten klassifizierten Traffic für bedingte Szenarien in einem bestimmten Zeitraum. Leere Eingaben, nicht verfügbare Klassifizierung, nur aktive Prüfungen, unbeobachtete Grenzfälle und Traffic außerhalb des Zeitraums können das Signal begrenzen. Kombinieren Sie es mit aktiven Ausführungen und den Nachweisen jedes passiven Ergebnisses.