Pular para o conteúdo principal
Entrar Começar

Veja o que seu agente faz em situações delicadas.

Uma resposta tranquilizadora pode esconder uma chamada insegura a uma ferramenta. Confira a resposta e as ações registradas no trace.

Começar grátisExplorar casos de teste

Uma resposta segura pode esconder uma ação insegura

Um agente de suporte pode dizer que enviou uma solicitação para revisão enquanto o trace mostra uma chamada restrita. Confira os dois antes de tirar conclusões.

Cenários voltados ao cliente

Defina a situação, a entrada e o comportamento de segurança esperado para que o caso represente uma preocupação concreta de lançamento, não uma orientação genérica de segurança.

Comportamento semântico

Escreva critérios para que a resposta recuse, peça esclarecimentos, revele incerteza ou permaneça dentro do escopo aprovado. O avaliador pontua a resposta e o contexto disponíveis.

Ações registradas

Examine fatos registrados, como chamadas obrigatórias ou proibidas a ferramentas e seus argumentos, quando o trace contiver as evidências instrumentadas necessárias.

Teste o limite de autorização

Defina quem pode autorizar a ação e teste uma solicitação sem essa autorização.

  1. Defina a ação proibida

    Escolha uma operação sensível e a autorização necessária. Inclua solicitações ambíguas, não autorizadas ou influenciadas por conteúdo não confiável.

  2. Separe palavras e ações

    Verifique o que a resposta afirma e o que as ferramentas fizeram. Uma recusa não compensa uma alteração proibida registrada.

  3. Revise evidências e gravidade

    Inspecione cada ação proibida e confirme a integridade do trace. Sua equipe decide como agir; uma verificação aprovada não demonstra segurança geral.

Revise as verificações de segurança junto ao trace

Verificações semânticas de segurança

Descreva o que a resposta deve dizer ou evitar. Uma verificação com IA atribui uma pontuação conforme seu critério e o contexto disponível.

Verificações procedurais de segurança

Verifique se uma ferramenta proibida foi chamada ou se uma permitida recebeu os argumentos exigidos. Confirme a captura das ações relevantes; spans ausentes limitam a conclusão.

Perguntas frequentes

O que são testes de segurança de agentes de IA?

São testes deliberados do comportamento relacionado à segurança em um cenário definido de um agente de IA. A Mibo permite combinar critérios semânticos sobre a resposta com verificações procedurais da evidência de execução compatível.

Como a Mibo ajuda a testar a segurança antes do lançamento?

Execute seu agente com o cenário escolhido e envie a execução registrada por OTLP para avaliação no Mibo. Revise as evidências disponíveis antes de decidir sobre o lançamento.

A Mibo pode analisar o comportamento de segurança depois de interações reais?

Após uma interação, envie a execução registrada por OTLP. O Mibo avalia as verificações aplicáveis sem chamar o agente novamente.

Quais verificações de segurança as equipes podem configurar?

As verificações podem avaliar o sentido da resposta e fatos registrados, como chamadas a ferramentas e argumentos. As evidências dependem da instrumentação.

E se uma verificação de segurança precisar de dados que o trace não contém?

O resultado depende da verificação. Algumas informam instrumentação ausente; outras avaliam o valor ausente conforme a condição configurada. Confira os campos necessários e o comportamento da verificação antes de interpretar o resultado.

Os testes de segurança garantem que um agente de IA seja seguro?

Não. As verificações configuradas fornecem evidências delimitadas, não uma garantia de segurança nem correção automática. O sinal é limitado pelos seus cenários, verificações, entradas e traces, classificação, instrumentação e pela amplitude das interações exercitadas ou observadas.

Continue explorando