Zum Hauptinhalt springen

Sieh, welche Szenarien in deinem Traffic vorkommen.

Erkenne Szenarien mit und ohne Traffic sowie Traces ohne Zuordnung. Entscheide dann, wo ein weiterer Test sinnvoll ist.

Eine Testsuite kann zuverlässig wirken, obwohl reale Unterhaltungen ungetestet bleiben.

Manche Szenarien kommen in Produktion vor, andere nicht. Prüfe Zuordnungen und Lücken, um den nächsten Test zu wählen.

Abgedeckte Szenarien

Ein bedingtes Szenario gilt als abgedeckt, wenn klassifizierte Produktions-Traces im ausgewählten Zeitraum dazu passen. Sein Traffic-Volumen ist weder eine Erfolgsquote noch ein Vollständigkeitswert.

Inaktive Szenarien

Definierte bedingte Szenarien ohne passenden Traffic bleiben als ohne Traffic sichtbar. Sie können wichtige Grenzfälle sein oder im Zeitraum schlicht nicht aufgetreten sein.

Nicht zugeordnete Traces

Ein klassifizierter Trace, der keinem bedingten Szenario entspricht, ist ein konkreter Hinweis auf eine mögliche Lücke. Prüfe ihn und entscheide, ob die Unterhaltung einen neuen Test verdient.

Priorisiere Lücken in der Szenario-Abdeckung

Untersuche Traffic-Lücken in einem festgelegten Zeitraum.

  1. Lege Zeitraum und Grundgesamtheit fest

    Wähle einen Zeitraum und prüfe erfasste Traces. Fehler beim Trace-Export, Stichproben und fehlende Eingaben können die Interaktionen im Bericht begrenzen.

  2. Trenne Traffic und Prüfergebnisse

    Prüfe Szenarios mit Treffern, Szenarios ohne Traffic und klassifizierte Traces ohne Treffer. Ein beobachtetes Szenario kann fehlgeschlagene Prüfungen enthalten.

  3. Wähle das nächste Szenario

    Prüfe eine Anfrage ohne Treffer und entscheide, ob ein bedingter Test ergänzt oder angepasst werden soll. Untersuche fehlende Eingaben und nicht verfügbare Klassifizierung getrennt.

Szenarioabdeckung für den nächsten Test nutzen

Abgedeckt bedeutet nicht bestanden

Ein zugeordneter Trace zeigt, dass das Szenario aufgetreten ist. Öffne die Ergebnisse, um die Prüfungen anzusehen.

Nicht zugeordnet bedeutet nicht fehlgeschlagen

Keine Zuordnung bedeutet, dass der Klassifikator für diesen Trace kein bedingtes Szenario gefunden hat. Mibo trennt dies von fehlgeschlagenen Prüfungen und zeigt Fälle, die beim Ausbau der Testsuite berücksichtigt werden sollten.

Häufig gestellte Fragen

Was bedeutet abgedeckt in Mibo?

Ein bedingtes Szenario gilt als abgedeckt, wenn mindestens ein klassifizierter Produktions-Trace im ausgewählten Zeitraum dazu passt. Das beschreibt beobachteten Traffic, nicht das Bestehen der Prüfungen und auch keine vollständige Abdeckung aller möglichen Interaktionen.

Wie verbindet Mibo Agentenszenarien mit realem Traffic?

Dein System sendet einen Ausführungstrace über OTLP. Mibo klassifiziert dessen Eingabe anhand bedingter Szenarien, wertet passende Prüfungen aus und meldet Zuordnungen in Scenario Coverage.

Was sagt ein nicht zugeordneter Trace meinem Team?

Er zeigt, dass ein klassifizierter Trace im ausgewählten Zeitraum zu keinem bedingten Szenario passte. Das ist ein Anlass, die Unterhaltung zu prüfen und über einen neuen oder verfeinerten Test zu entscheiden, kein Beweis für ein Fehlverhalten des Agenten.

Beweist die Szenarioabdeckung, dass mein Agent vollständig getestet ist?

Nein. Die Abdeckung zeigt klassifizierten Traffic in einem Zeitraum, nicht bestandene Prüfungen. Nicht klassifizierte Eingaben, fehlende Nachweise und unbeobachtete Grenzfälle begrenzen das Signal.

Weiter entdecken