Saltar al contenido principal
Iniciar sesión Comenzar

Detecta cambios en el comportamiento del agente.

Un cambio en el prompt puede alterar la herramienta que usa el agente. Compara trazas del mismo escenario para ver qué cambió.

Empezar gratisExplorar casos de prueba

Compara el comportamiento antes y después de un cambio

Una versión puede conservar la respuesta y cambiar un argumento de herramienta. Mantén la solicitud y el estado de las herramientas para comparar ambas versiones con la misma regla.

Compara ejecuciones de un escenario conocido

Ejecuta tú mismo los mismos datos en cada versión y envía las ejecuciones registradas por OTLP para evaluarlas.

Evaluación de trazas de producción

Después de una interacción, envía su ejecución registrada por OTLP. Mibo evalúa las comprobaciones configuradas aplicables sin volver a llamar al agente.

Una señal limitada

Interpreta los resultados según las comprobaciones definidas, la instrumentación incluida en la traza, la clasificación de entradas y la amplitud de los escenarios ejercitados u observados.

Compara versiones con casos controlados

Compara la misma expectativa antes y después de un cambio.

  1. Mantén el mismo entorno de prueba

    Ejecuta ambas versiones en tu sistema con la misma solicitud y estado controlado de herramientas. Registra las versiones del prompt, modelo y suite.

  2. Evalúa la evidencia registrada

    Envía ambas ejecuciones como trazas y revisa las mismas comprobaciones configuradas. Compara argumentos y criterios de respuesta, además del texto final.

  3. Revisa los casos cercanos

    Tras corregir el fallo, repite el caso, un éxito autorizado y un fallo de herramienta. Tu equipo ejecuta el agente y decide el lanzamiento; Mibo evalúa las trazas recibidas.

Compara la respuesta y la llamada a la herramienta

Comprobaciones semánticas

Aplica el mismo criterio escrito de respuesta a ambas versiones. Comprueba si una respuesta modificada sigue explicando el resultado con precisión.

Comprobaciones procedimentales

Compara el nombre de herramienta y el argumento de cuenta registrados con los mismos valores esperados. Un argumento distinto puede fallar aunque la respuesta no cambie.

Preguntas frecuentes

¿Qué diferencia las pruebas de regresión de agentes de IA de una ejecución puntual?

Las pruebas de regresión comparan el mismo comportamiento definido entre cambios. Ejecuta escenarios comparables y evalúa sus trazas con comprobaciones configuradas.

¿Mibo vuelve a probar un agente cuando evalúa una traza de producción?

Después de una interacción, envía su ejecución registrada por OTLP. Mibo evalúa las comprobaciones configuradas aplicables sin volver a llamar al agente.

¿Cómo decide Mibo qué pruebas de regresión se aplican a una interacción real?

Mibo usa la entrada disponible en la traza para clasificar qué pruebas condicionales de escenario son relevantes. Las comprobaciones universales pueden aplicarse a cada traza, mientras que una prueba puede no estar disponible si la traza no tiene una coincidencia utilizable o carece de la evidencia necesaria.

¿Las pruebas de regresión de agentes de IA pueden garantizar una cobertura completa?

No. Los resultados están limitados por los escenarios y las comprobaciones que configures, las interacciones que ocurran, la señal de clasificación y la instrumentación y los campos que envíes. Mibo no afirma cobertura completa, calidad garantizada ni corrección automática.

¿Qué ocurre cuando una comprobación necesita datos que la traza no incluye?

El resultado depende de la comprobación. Algunas informan de instrumentación faltante; otras evalúan el valor ausente según la condición configurada. Revisa los campos necesarios y el comportamiento de la comprobación antes de interpretar el resultado.

¿Cómo gestiona Mibo la privacidad de las trazas?

Las cargas de las trazas están cifradas en reposo y el acceso del producto está limitado a la cuenta propietaria. Envía datos sintéticos o gobernados de forma adecuada según tus propios requisitos de privacidad.

Sigue investigando