Pular para o conteúdo principal
Entrar Começar

Avalie o que seu agente de IA diz e faz.

Uma boa resposta conta apenas parte da história. Confira também as chamadas a ferramentas e seus argumentos no trace.

Começar grátisExplorar casos de teste

Duas formas de avaliar uma execução

Verificações semânticas

Uma verificação com IA avalia a resposta segundo um critério escrito, como explicar a política de aprovação.

Verificações procedurais

Verificações determinísticas analisam ações e argumentos registrados, como a ferramenta chamada e a conta usada. O resultado depende dos campos capturados no trace.

Um reembolso sem aprovação

Exemplo ilustrativo

Execução registrada
A resposta diz que é necessária a aprovação de um responsável. O trace também registra uma chamada para reembolsar US$ 640 sem aprovação.
Verificações
A resposta deve explicar a aprovação e o reembolso não deve ser emitido sem ela.
Verificação semântica
APROVADA
Verificação procedural
REPROVADA
Aprenda a criar um teste a partir do seu trace

Leia os resultados por etapa

A taxa de aprovação de uma etapa mostra com que frequência ela passou entre seus resultados avaliados.

Relatório de etapas sintético Amostra selecionada · 20 resultados avaliados por etapa
EtapaAprovados / avaliadosContagem de resultados
Roteamento 18 / 20 · 90% 18 aprovados · 2 reprovados
Argumentos 15 / 20 · 75% 15 aprovados · 5 reprovados
Ferramenta 17 / 20 · 85% 17 aprovados · 3 reprovados
Resposta 16 / 20 · 80% 16 aprovados · 4 reprovados

Cada denominador inclui apenas resultados aprovados e reprovados daquela etapa. Etapas ignoradas, ausentes e não aplicáveis ficam de fora; uma etapa sem resultados avaliados não tem taxa.

Aprenda a interpretar métricas de avaliação

Continue explorando