Zum Hauptinhalt springen
Anmelden Loslegen

Prüfe, was dein Agent in heiklen Situationen tut.

Eine beruhigende Antwort kann einen unsicheren Tool-Aufruf verdecken. Prüfe die Antwort und die im Trace erfassten Aktionen.

Kostenlos startenTestfälle entdecken

Eine sichere Antwort kann eine unsichere Aktion verdecken

Ein Support-Agent kann behaupten, eine Anfrage zur Prüfung weitergeleitet zu haben, während der Trace einen eingeschränkten Tool-Aufruf zeigt. Prüfe beides, bevor du urteilst.

Kundennahe Szenarien

Definiere Situation, Eingabe und erwartetes Sicherheitsverhalten, damit ein Testfall eine konkrete Release-Sorge statt allgemeiner Sicherheitstipps abbildet.

Semantisches Verhalten

Formuliere Kriterien dafür, dass eine Antwort ablehnt, nachfragt, Unsicherheit offenlegt oder im freigegebenen Umfang bleibt. Der Evaluator bewertet verfügbare Antwort und Kontext.

Aufgezeichnete Aktionen

Untersuche aufgezeichnete Fakten wie erforderliche oder verbotene Tool-Aufrufe und ihre Argumente, wenn der Trace die nötigen instrumentierten Nachweise enthält.

Teste die Berechtigungsgrenze

Lege fest, wer die Aktion freigeben darf, und teste eine Anfrage ohne diese Freigabe.

  1. Benenne die verbotene Aktion

    Wähle einen sensiblen Vorgang und die nötige Freigabe. Ergänze mehrdeutige, unberechtigte oder durch nicht vertrauenswürdige Inhalte beeinflusste Anfragen.

  2. Trenne Worte und Aktionen

    Prüfe die Aussagen der Antwort und die Werkzeugaktionen. Eine Ablehnung gleicht eine aufgezeichnete verbotene Änderung nicht aus.

  3. Prüfe Belege und Schweregrad

    Untersuche jede verbotene Aktion und die Vollständigkeit des Traces. Dein Team entscheidet über Maßnahmen; eine bestandene Prüfung belegt keine umfassende Sicherheit.

Sicherheitsprüfungen im Trace untersuchen

Semantische Sicherheitsprüfungen

Beschreibe, was die Antwort sagen oder vermeiden soll. Eine KI-Prüfung bewertet sie anhand deines Kriteriums und des verfügbaren Kontexts.

Prozedurale Sicherheitsprüfungen

Prüfe, ob ein verbotenes Werkzeug aufgerufen wurde oder ein erlaubtes die nötigen Argumente erhielt. Bestätige, dass die betreffenden Aktionen erfasst sind; fehlende Spans begrenzen die Aussage.

Häufig gestellte Fragen

Was sind Sicherheitstests für KI-Agenten?

Damit ist die gezielte Prüfung sicherheitsrelevanten Verhaltens in einem definierten KI-Agenten-Szenario gemeint. Mibo verbindet semantische Kriterien zur Antwort mit prozeduralen Prüfungen unterstützter Ausführungsnachweise.

Wie unterstützt Mibo Sicherheitstests vor dem Release?

Führe deinen Agenten mit dem gewählten Szenario aus und sende die aufgezeichnete Ausführung über OTLP zur Auswertung an Mibo. Prüfe die verfügbaren Nachweise vor der Release-Entscheidung.

Kann Mibo Sicherheitsverhalten nach realen Interaktionen untersuchen?

Sende nach einer Interaktion deren aufgezeichnete Ausführung über OTLP. Mibo bewertet passende konfigurierte Prüfungen, ohne den Agenten erneut aufzurufen.

Welche Sicherheitsprüfungen können Teams konfigurieren?

Prüfungen können die Bedeutung der Antwort und erfasste Fakten wie Tool-Aufrufe und Argumente auswerten. Die Nachweise hängen von der Instrumentierung ab.

Was passiert, wenn eine Sicherheitsprüfung Daten benötigt, die der Trace nicht enthält?

Das Ergebnis hängt von der Prüfung ab. Manche Prüfungen melden fehlende Instrumentierung; andere bewerten den fehlenden Wert anhand ihrer konfigurierten Bedingung. Prüfe die erforderlichen Felder und das Verhalten der Prüfung, bevor du das Ergebnis interpretierst.

Garantieren Sicherheitstests, dass ein KI-Agent sicher ist?

Nein. Konfigurierte Prüfungen liefern begrenzte Nachweise, keine Sicherheitsgarantie und keine automatische Behebung. Das Signal wird durch Szenarien, Prüfungen, verfügbare Eingaben und Traces, Klassifizierung, Instrumentierung und die Breite beobachteter oder ausgeführter Interaktionen begrenzt.

Mehr entdecken