Escenarios para clientes
Define la situación, la entrada y el comportamiento de seguridad esperado para que el caso represente una preocupación concreta de lanzamiento, no un consejo de seguridad genérico.
Prueba el comportamiento de seguridad de tu agente antes del lanzamiento y revisa la evidencia de interacciones reales.
Mibo ayuda a los equipos a convertir expectativas de seguridad en comprobaciones activas antes del lanzamiento y a evaluar trazas pasivas aplicables después de interacciones reales con clientes. La evidencia está limitada por tus comprobaciones, instrumentación, clasificación y escenarios observados.
El riesgo de seguridad es difícil de verificar cuando la respuesta parece correcta a simple vista.
Los equipos responsables de agentes orientados al cliente deben comprobar qué dice el agente y qué hace en situaciones sensibles. Mibo vincula esas comprobaciones a escenarios definidos en lugar de convertir unos pocos resultados en una afirmación general de seguridad.
Comportamiento semántico
Escribe criterios para que la respuesta rechace, pida aclaraciones, revele incertidumbre o se mantenga dentro del alcance aprobado. El evaluador puntúa la respuesta y el contexto disponible.
Protecciones procedimentales
Inspecciona hechos compatibles como llamadas obligatorias o prohibidas a herramientas, argumentos, campos de respuesta, estado, tiempo o tokens cuando el resultado activo o la traza contiene los campos necesarios.
De una expectativa de seguridad a evidencia acotada
Crea un caso de seguridad concreto, combina las comprobaciones que expresan su comportamiento y revisa qué puede demostrar la evidencia disponible. Las ejecuciones activas y las trazas pasivas responden preguntas diferentes.
01
Define el caso
Describe la situación del cliente y la entrada, y después indica qué debe hacer o evitar el agente. Incluye la condición límite importante para el lanzamiento.
02
Combina comprobaciones
Usa criterios semánticos junto con comprobaciones procedimentales, como una llamada obligatoria o prohibida, un argumento, un estado o un campo de respuesta. Configura solo la evidencia que tu sistema pueda exponer.
03
Prueba y revisa
Ejecuta un caso seleccionado contra un agente conectado antes del lanzamiento. Cuando los casos activos aplicables coinciden con trazas canónicas de interacciones reales, Mibo los evalúa de forma asíncrona sin volver a llamar al agente.
Usa pruebas activas y pasivas para revisar el mismo comportamiento definido
Comprobaciones semánticas de seguridad
Describe qué significa que una respuesta sea segura, adecuada, honesta o esté dentro del alcance. La puntuación es evidencia para revisar y depende de la respuesta y el contexto disponibles para el evaluador.
Comprobaciones procedimentales de seguridad
Verifica hechos deterministas como una llamada obligatoria o prohibida a una herramienta, un argumento, un campo de respuesta, un estado HTTP, un esquema, un límite de tiempo o el uso de tokens. Los campos ausentes de la traza se informan como instrumentación faltante.
Preguntas frecuentes
¿Qué son las pruebas de seguridad de agentes de IA?
Son pruebas deliberadas del comportamiento relacionado con la seguridad en un escenario definido de un agente de IA. Mibo permite combinar criterios semánticos sobre la respuesta con comprobaciones procedimentales de la evidencia de ejecución compatible.
¿Cómo ayuda Mibo a probar la seguridad antes del lanzamiento?
Las pruebas activas envían la entrada de un escenario seleccionado a un agente conectado y evalúan la respuesta y la evidencia de ejecución disponible. El resultado aporta evidencia sobre ese caso configurado, no sobre situaciones no observadas.
¿Puede Mibo revisar el comportamiento de seguridad después de interacciones reales?
Sí, cuando una prueba activa puede evaluarse pasivamente y tu sistema envía una traza canónica aplicable. Mibo la evalúa de forma asíncrona sin volver a llamar al agente.
¿Qué comprobaciones de seguridad se pueden configurar?
Puedes describir expectativas de respuesta con comprobaciones semánticas y revisar hechos compatibles como llamadas obligatorias o prohibidas a herramientas, argumentos, campos de respuesta, estado HTTP, esquema, tiempo o tokens. La evidencia disponible depende del resultado activo o de la traza.
¿Qué ocurre si una comprobación de seguridad necesita datos que la traza no contiene?
Mibo informa de instrumentación faltante cuando una comprobación compatible no encuentra el campo requerido, en lugar de tratarla silenciosamente como aprobada o fallida. Añade los campos relevantes si esa evidencia importa a tu flujo.
¿Las pruebas de seguridad garantizan que un agente de IA sea seguro?
No. Las comprobaciones configuradas aportan evidencia acotada, no una garantía de seguridad ni corrección automática. La señal está limitada por tus escenarios, comprobaciones, entradas y trazas, clasificación, instrumentación y amplitud de las interacciones observadas o ejercitadas.
Sigue explorando
Crea pruebas con Test Architect de Mibo
Consulta la documentación mantenida para definir escenarios, entradas, comprobaciones y comportamiento pasivo.
Leer la documentación →Referencia de comprobaciones
Consulta las comprobaciones semánticas y procedimentales disponibles y la evidencia de trazas que puede usar cada una.
Leer la documentación de comprobaciones →Pruebas de agentes de IA
Define escenarios, ejecuta comprobaciones activas antes del lanzamiento y reutilízalas para evaluar trazas pasivas de producción.
Explorar pruebas de agentes →Evaluación de agentes de IA
Entiende cómo Mibo evalúa el comportamiento configurado más allá del código de respuesta.
Explorar evaluación →Monitorización de agentes de IA
Inspecciona el comportamiento en trazas de producción e investiga regresiones después de interacciones reales.
Explorar monitorización →Casos de prueba de agentes de IA
Convierte expectativas de seguridad en escenarios concretos con comprobaciones semánticas y procedimentales.
Explorar casos de prueba →Mibo en acción
Ejecuta la comprobación de fiabilidad en vivo con una solicitud sintética de cliente.
Ejecutar comprobación →