Saltar al contenido principal

Comprueba lo que dice y hace tu agente de IA.

Comprueba si el agente da la respuesta adecuada y sigue los pasos correctos. Empieza con una traza registrada y crea pruebas a partir de ella.

Una respuesta correcta puede ocultar una acción equivocada

Define el flujo, los argumentos de herramienta y la respuesta esperados para una solicitud. Compruébalos por separado: un agente puede elegir la ruta correcta y actuar sobre la cuenta equivocada.

Ruta equivocada

Comprueba que la solicitud llegue al especialista y al flujo correctos, no solo que el endpoint responda.

Uso de herramientas

Verifica llamadas, argumentos y otros hechos observables en la traza del agente.

Respuesta incompleta

Evalúa si la respuesta es clara, segura y coherente con el resultado que necesita tu cliente.

Revisa el contrato de comportamiento

Define un contrato y revisa la ejecución.

  1. Define el resultado esperado

    Especifica la acción permitida, los argumentos y qué puede afirmar la respuesta. Incluye una ruta prohibida y un fallo de herramienta.

  2. Comprueba la evidencia

    Revisa la entrada, respuesta, llamadas y resultados registrados. Confirma que se capturan los campos necesarios antes de interpretar una ausencia.

  3. Convierte un fallo en una prueba

    Usa IA para redactar comprobaciones desde una traza disponible, revísalas y guárdalas. Evalúa trazas posteriores y compara una ejecución correcta con otra deliberadamente incorrecta.

Mira qué ocurrió en la traza

Comprobaciones semánticas

Evalúa significado, seguridad, integridad y alineación con el resultado que describiste, en lugar de exigir una cadena fija.

Comprobaciones procedimentales

Inspecciona hechos de la ejecución como llamadas a herramientas, argumentos, atributos, estado HTTP y esquema.

Preguntas frecuentes

¿Qué comprueba Mibo en un agente de IA?

Mibo evalúa el comportamiento que describes, incluida la respuesta y la evidencia de ejecución observable, como rutas, llamadas a herramientas, valores y estado. Las comprobaciones basadas en reglas verifican hechos y las comprobaciones con IA puntúan respuestas según criterios en lenguaje natural.

¿Puedo probar un agente antes y después del lanzamiento?

Después de una interacción, envía su ejecución registrada por OTLP. Mibo evalúa las comprobaciones configuradas aplicables sin volver a llamar al agente.

¿La evaluación de trazas añade Mibo al recorrido de la solicitud?

No. Tu sistema atiende la interacción y después envía una traza a Mibo. Mibo evalúa la traza de forma asíncrona en segundo plano.

Sigue explorando