Pular para o conteúdo principal

Teste o comportamento de segurança do seu agente antes do lançamento e analise evidências de interações reais.

A Mibo ajuda equipes a transformar expectativas de segurança em verificações ativas antes do lançamento e avaliar traces passivos aplicáveis depois de interações reais com clientes. As evidências são limitadas pelas verificações configuradas, pela instrumentação, pela classificação e pelos cenários observados.

Começar grátisVer a Mibo em ação

É difícil verificar o risco de segurança quando a resposta parece correta na superfície.

Equipes responsáveis por agentes voltados para clientes precisam verificar o que o agente diz e faz em situações sensíveis. A Mibo mantém essas verificações ligadas a cenários definidos, sem transformar poucos resultados em uma afirmação geral de segurança.

Cenários voltados ao cliente

Defina a situação, a entrada e o comportamento de segurança esperado para que o caso represente uma preocupação concreta de lançamento, não uma orientação genérica de segurança.

Comportamento semântico

Escreva critérios para que a resposta recuse, peça esclarecimentos, revele incerteza ou permaneça dentro do escopo aprovado. O avaliador pontua a resposta e o contexto disponíveis.

Proteções procedurais

Inspecione fatos compatíveis como chamadas obrigatórias ou proibidas de ferramentas, argumentos, campos de resposta, status, tempo ou tokens quando o resultado ativo ou o trace tiver os campos necessários.

De uma expectativa de segurança a evidências delimitadas

Crie um caso de segurança focado, combine as verificações que expressam seu comportamento e analise o que as evidências disponíveis podem sustentar. Execuções ativas e traces passivos respondem a perguntas diferentes.

01

Defina o caso

Descreva a situação do cliente e a entrada, depois indique o que o agente deve fazer ou evitar. Inclua a condição de limite importante para o lançamento.

02

Combine verificações

Use critérios semânticos junto com verificações procedurais, como uma chamada obrigatória ou proibida, um argumento, um status ou um campo de resposta. Configure apenas as evidências que seu sistema pode expor.

03

Teste e analise

Execute um caso selecionado em um agente conectado antes do lançamento. Quando casos ativos aplicáveis corresponderem a traces canônicos de interações reais, a Mibo os avalia de forma assíncrona sem chamar o agente novamente.

Use testes ativos e passivos para analisar o mesmo comportamento definido

Verificações semânticas de segurança

Descreva o que significa uma resposta ser segura, adequada, honesta ou estar dentro do escopo. A pontuação é uma evidência para análise e depende da resposta e do contexto disponíveis para o avaliador.

Verificações procedurais de segurança

Verifique fatos determinísticos como uma chamada obrigatória ou proibida de ferramenta, um argumento, um campo de resposta, um status HTTP, um schema, um limite de tempo ou o uso de tokens. Campos ausentes no trace aparecem como instrumentação ausente.

Perguntas frequentes

O que são testes de segurança de agentes de IA?

São testes deliberados do comportamento relacionado à segurança em um cenário definido de um agente de IA. A Mibo permite combinar critérios semânticos sobre a resposta com verificações procedurais da evidência de execução compatível.

Como a Mibo ajuda a testar a segurança antes do lançamento?

O teste ativo envia a entrada de um cenário selecionado a um agente conectado e avalia a resposta e as evidências de execução disponíveis. O resultado é uma evidência para esse caso configurado, não uma prova sobre situações não observadas.

A Mibo pode analisar o comportamento de segurança depois de interações reais?

Sim, quando um teste ativo é elegível para avaliação passiva e seu sistema envia um trace canônico aplicável. A Mibo o avalia de forma assíncrona sem chamar o agente novamente.

Quais verificações de segurança as equipes podem configurar?

As equipes podem descrever expectativas de resposta com verificações semânticas e verificar fatos compatíveis como chamadas obrigatórias ou proibidas de ferramentas, argumentos, campos de resposta, status HTTP, schema, tempo ou tokens. A evidência disponível depende do resultado ativo ou do trace.

E se uma verificação de segurança precisar de dados que o trace não contém?

A Mibo informa instrumentação ausente quando uma verificação compatível não encontra o campo necessário, em vez de tratá-la silenciosamente como aprovada ou reprovada. Adicione os campos relevantes se essa evidência for importante para o seu fluxo.

Os testes de segurança garantem que um agente de IA seja seguro?

Não. As verificações configuradas fornecem evidências delimitadas, não uma garantia de segurança nem correção automática. O sinal é limitado pelos seus cenários, verificações, entradas e traces, classificação, instrumentação e pela amplitude das interações exercitadas ou observadas.

Continue explorando