Saltar al contenido principal

Descubre qué escenarios de tu agente de IA cubre realmente el tráfico.

Mibo conecta los escenarios que defines con trazas pasivas de producción, separa los escenarios con tráfico de los que permanecen inactivos y muestra las conversaciones sin coincidencia como evidencia de dónde puede crecer tu suite de pruebas.

Una suite de pruebas puede parecer saludable mientras deja conversaciones reales sin probar.

Los escenarios sintéticos muestran lo que decidiste probar. El tráfico de producción revela lo que las personas preguntan realmente. Mibo mantiene separadas esas señales para que una coincidencia observada sea evidencia útil, no una afirmación de que todas las interacciones posibles están cubiertas.

Escenarios cubiertos

Un escenario condicional está cubierto cuando las trazas de producción clasificadas coinciden con él durante el periodo seleccionado. Su volumen de tráfico no es una tasa de aprobaciones ni una puntuación de integridad.

Escenarios inactivos

Los escenarios condicionales definidos sin tráfico coincidente permanecen visibles como sin tráfico. Pueden ser casos límite importantes o simplemente no haberse observado durante el periodo.

Trazas sin coincidencia

Una traza clasificada que no coincide con ningún escenario condicional es una señal concreta de una posible brecha. Revísala y decide si la conversación merece una prueba nueva.

Convierte el tráfico real en una lista de pruebas más precisa

Mibo conecta las definiciones de escenarios con las trazas sin añadir la evaluación al recorrido de la solicitud del cliente. Usa la señal de cobertura para decidir qué investigar después.

Define el comportamiento

Crea casos de prueba activos con escenarios y comprobaciones específicas. Usa Ejecutar cuando sea relevante para comprobaciones de producción situacionales; mantén las invariantes y los casos deliberados en sus modos pasivos adecuados.

Envía trazas pasivas

Después de una interacción real, tu sistema envía una traza canónica a Mibo mediante OpenTelemetry o Tu API. Mibo la almacena y programa la evaluación de forma asíncrona contra las pruebas activas aplicables.

Encuentra la siguiente brecha

Revisa Cobertura de escenarios para separar los escenarios condicionales con tráfico, los escenarios sin tráfico y las trazas clasificadas que no coincidieron con nada. Usa la evidencia para priorizar una prueba nueva o mejorada.

Mibo hace que la señal de cobertura sea honesta y útil

Cubierto no significa aprobado

La cobertura significa que una traza clasificada coincidió con un escenario condicional. Abre el resultado pasivo para revisar las comprobaciones semánticas y procedimentales; la presencia de tráfico por sí sola no demuestra que el agente se comportara correctamente.

Sin coincidencia no significa fallo

Sin coincidencia significa que el clasificador no encontró un escenario condicional para esa traza. Mibo lo mantiene separado de los fallos de las comprobaciones e identifica casos que puedes considerar al ampliar la suite.

Preguntas frecuentes

¿Qué significa cubierto en Mibo?

Un escenario condicional está cubierto cuando una o más trazas de producción clasificadas coinciden con él durante el periodo seleccionado. Describe tráfico observado, no si las comprobaciones se aprobaron ni la cobertura completa de todas las interacciones posibles.

¿Cómo conecta Mibo los escenarios del agente con el tráfico real?

Tu sistema envía una traza después de una interacción real mediante OpenTelemetry o la ruta Tu API de Mibo. Mibo compara la entrada de la traza con los escenarios de los casos de prueba condicionales activos, evalúa las pruebas aplicables de forma asíncrona e informa del escenario coincidente en Cobertura de escenarios.

¿Qué le dice una traza sin coincidencia a mi equipo?

Indica que una traza clasificada no coincidió con ningún escenario condicional durante el periodo seleccionado. Es una invitación a revisar la conversación y decidir si debes añadir o mejorar una prueba, no una prueba de que el agente haya fallado.

¿Cobertura de escenarios demuestra que mi agente está completamente probado?

No. Informa del tráfico clasificado observado para escenarios condicionales en un periodo concreto. Las entradas vacías, la clasificación no disponible, las comprobaciones solo activas, los casos límite no observados y el tráfico fuera del periodo pueden limitar lo que indica la señal. Combínala con ejecuciones activas y la evidencia de cada resultado pasivo.

Sigue explorando