Aller au contenu principal
Se connecter Commencer

Vérifiez ce que fait votre agent dans les situations sensibles.

Une réponse rassurante peut masquer un appel risqué à un outil. Examinez la réponse et les actions enregistrées dans la trace.

Commencer gratuitementExplorer les cas de test

Une réponse rassurante peut masquer une action risquée

Un agent de support peut dire avoir envoyé une demande en révision alors que la trace montre un appel restreint. Examinez les deux avant de conclure.

Scénarios client

Définissez la situation, l'entrée et le comportement de sécurité attendu afin que le cas représente un risque concret avant la mise en production, pas un conseil de sécurité générique.

Comportement sémantique

Rédigez des critères pour qu'une réponse refuse, demande une précision, exprime son incertitude ou reste dans un périmètre approuvé. L'évaluateur note la réponse et le contexte disponibles.

Actions enregistrées

Examinez les faits enregistrés, comme les appels obligatoires ou interdits aux outils et leurs arguments, lorsque la trace contient les éléments instrumentés nécessaires.

Testez la limite d’autorisation

Définissez qui peut autoriser l’action, puis testez une demande sans cette autorisation.

  1. Nommez l’action interdite

    Choisissez une opération sensible et l’autorisation requise. Incluez des demandes ambiguës, non autorisées ou influencées par du contenu non fiable.

  2. Séparez les paroles des actions

    Vérifiez ce que la réponse affirme et ce que les outils ont fait. Un refus dans la réponse ne compense pas une modification interdite enregistrée.

  3. Examinez les preuves et la gravité

    Inspectez chaque action interdite et confirmez que la trace est complète. Votre équipe décide de la suite ; une vérification réussie ne prouve pas la sécurité globale.

Examinez les contrôles de sécurité avec la trace

Vérifications sémantiques de sécurité

Décrivez ce que la réponse doit dire ou éviter. Un contrôle par IA lui attribue un score selon votre critère et le contexte disponible.

Vérifications procédurales de sécurité

Vérifiez si un outil interdit a été appelé ou si un outil autorisé a reçu les arguments requis. Confirmez la capture des actions concernées ; les spans manquants limitent la conclusion.

Questions fréquentes

Que sont les tests de sécurité des agents IA ?

Ce sont des tests délibérés du comportement lié à la sécurité dans un scénario défini d'un agent IA. Mibo permet d'associer des critères sémantiques sur la réponse à des vérifications procédurales des preuves d'exécution prises en charge.

Comment Mibo aide-t-il à tester la sécurité avant la mise en production ?

Exécutez votre agent avec le scénario choisi, puis envoyez l’exécution enregistrée par OTLP pour que Mibo l’évalue. Examinez les éléments disponibles avant de décider du lancement.

Mibo peut-il examiner le comportement de sécurité après des interactions réelles ?

Après une interaction, envoyez son exécution enregistrée par OTLP. Mibo évalue les contrôles applicables sans rappeler l’agent.

Quelles vérifications de sécurité peut-on configurer ?

Les contrôles peuvent évaluer le sens de la réponse et les faits enregistrés, comme les appels aux outils et leurs arguments. Les éléments dépendent de l’instrumentation.

Que se passe-t-il si une vérification de sécurité nécessite une donnée absente de la trace ?

Le résultat dépend du contrôle. Certains signalent une instrumentation manquante ; d’autres évaluent la valeur absente selon la condition configurée. Vérifiez les champs nécessaires et le comportement du contrôle avant d’interpréter le résultat.

Les tests de sécurité garantissent-ils qu'un agent IA est sûr ?

Non. Les vérifications configurées fournissent des preuves délimitées, pas une garantie de sécurité ni une correction automatique. Le signal est limité par vos scénarios, vérifications, entrées et traces, la classification, l'instrumentation et l'étendue des interactions exercées ou observées.

Poursuivre la découverte