Zum Hauptinhalt springen

Observability zeigt, was dein Agent getan hat. Tests zeigen, ob es richtig war.

Teste deine KI-Agenten mit den Traces, die du bereits sendest. Sieh im Tracing-Tool, was passiert ist. Prüfe in Mibo, ob der Agent dabei eine Regel verletzt hat.

Zwei Fragen zur selben Ausführung

Traces liefern deinen gespeicherten Tests die Daten, um deine Regeln zu prüfen. Im Beispiel unten wurde die Erstattung ausgeführt und die Prüfung der Freigabe durch die Teamleitung ist fehlgeschlagen.

ObservabilityTests mit Mibo
Sieh, welche Schritte ausgeführt und welche Tools aufgerufen wurden.Prüfe, ob die aufgezeichneten Aktionen deine Regeln eingehalten haben.
Sieh dir im Trace die Reihenfolge der Ereignisse und die erfassten Werte an.Sieh das Ergebnis der Prüfung und die Daten, die es erklären.
Lies den Trace, um nachzuvollziehen, was passiert ist.Wähle einen aufgezeichneten Trace aus. Die KI entwirft einen Test, den du prüfst und speicherst. Mibo führt ihn für spätere passende Traces aus.
Erfasse und untersuche Traces.Nutze diese Traces als Grundlage für deine Tests.

Eine Rückerstattung aus zwei Blickwinkeln

Prüfe den Inhalt der Antwort

Eine semantische Prüfung bewertet, ob die Antwort die Freigaberegel erklärt.

Prüfe die Aktion des Agenten

Eine prozedurale Prüfung gleicht den aufgezeichneten Betrag und den Freigabeschritt mit der Regel ab.

Ein Export für beide Tools

Sende die Traces deines Agenten per OTLP/HTTP an den OpenTelemetry Collector und konfiguriere beide Ziele. Aktiviere die Erfassung von Nachrichteninhalten, damit die Spans verwertbare Eingaben oder Ausgaben enthalten. Führe den Agenten aus und prüfe vor dem Testentwurf, ob der Trace mit den benötigten Daten in Mibo erscheint.

Beide Einrichtungsoptionen ansehen
receivers:
  otlp:
    protocols:
      http:
        endpoint: 127.0.0.1:4318
exporters:
  otlp_http/mibo:
    traces_endpoint: https://api.mibo-ai.com/public/traces
    headers:
      x-api-key: ${env:MIBO_API_KEY}
  otlp_http/other:
    traces_endpoint: '<YOUR_OTHER_OTLP_HTTP_TRACES_ENDPOINT>'
service:
  pipelines:
    traces:
      receivers: [otlp]
      exporters: [otlp_http/mibo, otlp_http/other]
Setze MIBO_API_KEY in der Umgebung des Collectors. Das andere Ziel benötigt möglicherweise eigene Zugangsdaten. Bei 127.0.0.1 müssen Anwendung und Collector denselben Netzwerk-Namespace teilen. Passe bestehende Exporter-Header für den Collector an; Endpoint-Variablen akzeptieren eine URL und keine kommagetrennte Liste.

Jedes Tool hat seine Aufgabe

Kosten- und Latenz-Dashboards bleiben in deiner Observability-Plattform, die Prompt-Verwaltung in deinem Entwicklungsprozess. Deine Anwendung führt den Agenten aus und setzt die Regeln durch. Mibo wertet Traces nach der Ausführung aus, unabhängig von der Anfrageverarbeitung.

Wann deine vorhandenen Tests ausreichen

Wenn deine Auswertungen bereits alle relevanten Regeln für Tool-Aufrufe in Produktions-Traces prüfen, kannst du deine bestehende Einrichtung weiter nutzen.

Mehr entdecken