Comprobaciones semánticas
Una comprobación con IA puntúa la respuesta según un criterio escrito, por ejemplo, si explica la política de aprobación.
Evalúa lo que dice y hace tu agente de IA.
Una respuesta útil cuenta solo parte de la historia. Revisa también las llamadas a herramientas y sus argumentos en la traza.
Dos formas de evaluar una ejecución
Comprobaciones procedimentales
Las comprobaciones deterministas revisan acciones y argumentos registrados, como la herramienta utilizada y la cuenta. El resultado depende de los campos capturados en la traza.
Un reembolso sin aprobación
Ejemplo ilustrativo
- Ejecución registrada
- La respuesta dice que hace falta la aprobación de un responsable. La traza también registra una llamada para reembolsar 640 dólares sin aprobación.
- Comprobaciones
- La respuesta debe explicar la aprobación y el reembolso no debe emitirse sin ella.
- Comprobación semántica
- SUPERADA
- Comprobación procedimental
- FALLIDA
Lee los resultados por etapa
La tasa de aprobación de una etapa indica con qué frecuencia pasó entre sus resultados evaluados.
| Etapa | Aprobados / evaluados | Recuento de resultados |
|---|---|---|
| Enrutamiento | 18 / 20 · 90% | 18 aprobados · 2 fallidos |
| Argumentos | 15 / 20 · 75% | 15 aprobados · 5 fallidos |
| Herramienta | 17 / 20 · 85% | 17 aprobados · 3 fallidos |
| Respuesta | 16 / 20 · 80% | 16 aprobados · 4 fallidos |
Cada denominador incluye solo resultados aprobados y fallidos de esa etapa. Se excluyen las etapas omitidas, ausentes y no aplicables; una etapa sin resultados evaluados no tiene tasa.
Aprende a interpretar las métricas de evaluaciónSigue explorando
Casos de prueba de agentes de IA
Explora ejemplos de enrutamiento, eliminación y reembolsos.
Explorar casos de pruebaMétricas de evaluación de agentes de IA
Elige métricas para evaluar el comportamiento y los resultados.
Explorar métricas