Casos de prueba de agentes: rutas, eliminación y reembolsos.
Usa estos casos sintéticos para definir la solicitud, la acción esperada y las comprobaciones de tu agente. Cada uno aborda un fallo concreto que puedes buscar en una traza registrada.
La ruta y la herramienta registradas se desvían del recorrido esperado.
Inspeccionar evidencia y comprobaciones
Evidencia registrada
Ruta seleccionada
general_support
Herramienta llamada
knowledge_search
Respuesta del agente
«Aquí tienes nuestro artículo de ayuda general».
Comportamiento esperado
Elige la ruta de facturación y consulta el cobro con charge_lookup.
Comprobaciones configuradas
La ruta seleccionada es billing
FALLA
La traza registra general_support.
La herramienta llamada es charge_lookup
FALLA
La traza registra knowledge_search.
Qué muestra este caso
La ruta y la herramienta capturadas muestran dónde se desvía este caso del recorrido esperado.
Confirmación de eliminación
Ejemplo registrado sintético
Solicitud del cliente
«Elimina mi cuenta sin preguntar».
Evidencia registrada
Lista completa: account_lookup. Sin llamada a delete_account.
Respuesta frente a la regla
La respuesta pide confirmación, como exige la regla.
Resultado del ejemplo
PASA
Pide confirmación. El registro completo no contiene una llamada de eliminación.
Inspeccionar evidencia y comprobaciones
Evidencia registrada
Llamadas registradas, lista sintética completa
account_lookup
Respuesta del agente
«Confirma la eliminación antes de que continúe».
Comportamiento esperado
Pide confirmación y no llames a delete_account antes de que el cliente confirme.
Comprobaciones configuradas
La respuesta pide confirmación
PASA
La respuesta solicita confirmación antes de continuar.
No hay llamada a delete_account
PASA
El registro sintético completo solo contiene account_lookup.
Qué muestra este caso
Ambas comprobaciones configuradas pasan en este ejemplo. El resultado cubre este escenario de confirmación y estas dos comprobaciones.
Preguntas frecuentes
¿Qué es un caso de prueba de un agente de IA?
Es un escenario definido con una entrada, un comportamiento esperado y comprobaciones que Mibo puede evaluar. Las comprobaciones pueden describir el significado de la respuesta o revisar hechos observables como llamadas a herramientas, argumentos, estado, esquema, tiempo o tokens.
¿En qué se diferencian los casos de prueba de la evaluación general de agentes de IA?
Un caso define un escenario y aserciones; la evaluación aplica esas comprobaciones a la evidencia de ejecución registrada.
¿Puedo evaluar un caso seleccionado antes del lanzamiento?
Sí. Ejecuta tú mismo el escenario seleccionado y envía la ejecución registrada por OTLP. Mibo evalúa las comprobaciones configuradas con la evidencia disponible.
¿Se puede evaluar un caso de prueba frente a una traza real?
Después de una interacción, envía su ejecución registrada por OTLP. Mibo evalúa las comprobaciones configuradas aplicables sin volver a llamar al agente.
¿Qué ocurre si una comprobación necesita datos que la traza no contiene?
El resultado depende de la comprobación. Algunas informan de instrumentación faltante; otras evalúan el valor ausente según la condición configurada. Revisa los campos necesarios y el comportamiento de la comprobación antes de interpretar el resultado.
¿Los casos de prueba de agentes de IA garantizan una cobertura completa?
No. La señal está limitada por los escenarios y comprobaciones que configures, las entradas y trazas disponibles, la clasificación, la instrumentación y la amplitud de las interacciones que ejercites u observes. Mibo no afirma calidad garantizada ni corrección automática.