promptfoo
O red team do promptfoo escreve casos de teste adversariais com um modelo atacante definido em redteam.provider, separado dos alvos que você testa, e avalia os resultados com o mesmo provedor. Por padrão, o promptfoo gera os ataques com o serviço hospedado dele; com PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true, quem os gera é o seu redteam.provider. O provedor openai:chat: dele funciona com qualquer API compatível com OpenAI por meio de apiBaseUrl; assim, ele pode usar https://api.abliteratedllm.dev/v1. O glm-5.3-cyber-abliterated teve as recusas removidas para trabalho de segurança; o glm-5.3-flash-abliterated é uma opção mais barata.
Execute red teams do promptfoo apenas contra sistemas que sejam seus ou que você tenha autorização para testar. Você é responsável pela forma como usa o serviço; veja a política de uso aceitável.
Marcadores:
$API_BASEéhttps://api.abliteratedllm.dev/v1,$API_ORIGINéhttps://api.abliteratedllm.deve$YOUR_KEYé sua chave de API.
1. Defina sua chave e desative a geração remota
Bash ou Zsh (adicione as linhas ao ~/.zshrc ou ao ~/.bashrc para mantê-las):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueWindows (vale para os terminais que você abrir depois):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true2. Defina o provedor de red team
Adicione provider e strategies à seção redteam do seu promptfooconfig.yaml, ao lado dos seus plugins:
redteam:
provider:
id: openai:chat:glm-5.3-cyber-abliterated
config:
apiBaseUrl: $API_BASE
apiKeyEnvar: ABLITERATEDLLM_API_KEY
max_tokens: 8192
showThinking: false
passthrough:
reasoning_effort: low
strategies:
- basic- O ID é
openai:chat:seguido do ID do nosso modelo.apiBaseUrltermina em/v1. apiKeyEnvarlê sua chave deABLITERATEDLLM_API_KEY. Se essa variável não estiver definida, o promptfoo não recorre aOPENAI_API_KEY.max_tokenssubstitui o padrão de 1024 que o promptfoo usa para modelos que ele não reconhece como modelos de raciocínio, o que inclui os nossos. Oglm-5.3-cyber-abliteratede oglm-5.3-flash-abliteratedraciocinam antes de responder, e os tokens de raciocínio contam paramax_tokens; então, 1024 podem se esgotar antes da resposta. Contas de teste ficam limitadas a 4096.showThinking: falsemantém o texto de raciocínio separado do modelo fora dos ataques que ele escreve e das avaliações que o promptfoo interpreta.passthroughadicionareasoning_efforta cada requisição; o promptfoo só envia a própria opçãoreasoning_effortpara modelos que ele reconhece. Noglm-5.3-cyber-abliterated, sólowehightêm efeito.redteam.providerdefine só o atacante e o avaliador. Seustargetscontinuam como estão.strategieslista sóbasicporque as estratégias padrão do promptfoo incluemjailbreak:metaejailbreak:composite, que precisam do serviço hospedado dele e falham com a geração remota desativada. Adicione outras estratégias que rodem localmente, se precisar.
3. Gere e execute
npx promptfoo@latest redteam runBom saber
- Plugins e estratégias só remotos. Com a geração remota desativada, plugins só remotos, como
harmful:cybercrime, não geram casos de teste (o promptfoo registra que eles exigem geração remota e continua;--strictinterrompe a execução), enquanto estratégias só remotas, comojailbreak:composite, geram um erro. Para usá-los, remova a variável; o promptfoo passa então a gerar esses ataques com o serviço hospedado dele. - Verificação automática. As requisições passam pela verificação automática descrita na política de uso aceitável, que recusa material de abuso sexual infantil e instruções executáveis para armas capazes de causar vítimas em massa com 400
content_policy_violation. Depois de 30 requisições rejeitadas em um minuto, as requisições da conta falham com 429rate_limit_exceededaté a janela reiniciar (veja Limites de requisições e teste grátis); por isso, deixe plugins comoharmful:chemical-biological-weapons,harmful:indiscriminate-weapons,harmful:weapons:iedeharmful:child-exploitationfora das execuções que usam nossos modelos. - Conteúdo sexual. A política de uso aceitável também proíbe conteúdo sexualmente explícito em todos os modelos, em qualquer parte de uma requisição; por isso, deixe
harmful:sexual-contentde fora também. - Contas de teste permitem 1 requisição simultânea e 4096 tokens de saída. Defina
maxConcurrency: 1emredteampara a geração de ataques e execute com--max-concurrency 1. Veja Limites de requisições e teste grátis.
Verificado na documentação e no código-fonte do promptfoo 0.126.0 em 2026-11-19: Configuração de red team (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), Provedor OpenAI (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (o padrão de max_tokens) e strategies.ts (as estratégias padrão).