Integraçõespromptfoo

promptfoo

O red team do promptfoo escreve casos de teste adversariais com um modelo atacante definido em redteam.provider, separado dos alvos que você testa, e avalia os resultados com o mesmo provedor. Por padrão, o promptfoo gera os ataques com o serviço hospedado dele; com PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true, quem os gera é o seu redteam.provider. O provedor openai:chat: dele funciona com qualquer API compatível com OpenAI por meio de apiBaseUrl; assim, ele pode usar https://api.abliteratedllm.dev/v1. O glm-5.3-cyber-abliterated teve as recusas removidas para trabalho de segurança; o glm-5.3-flash-abliterated é uma opção mais barata.

Execute red teams do promptfoo apenas contra sistemas que sejam seus ou que você tenha autorização para testar. Você é responsável pela forma como usa o serviço; veja a política de uso aceitável.

Marcadores: $API_BASE é https://api.abliteratedllm.dev/v1, $API_ORIGIN é https://api.abliteratedllm.dev e $YOUR_KEY é sua chave de API.

1. Defina sua chave e desative a geração remota

Bash ou Zsh (adicione as linhas ao ~/.zshrc ou ao ~/.bashrc para mantê-las):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true

Windows (vale para os terminais que você abrir depois):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true

2. Defina o provedor de red team

Adicione provider e strategies à seção redteam do seu promptfooconfig.yaml, ao lado dos seus plugins:

yaml
redteam:
  provider:
    id: openai:chat:glm-5.3-cyber-abliterated
    config:
      apiBaseUrl: $API_BASE
      apiKeyEnvar: ABLITERATEDLLM_API_KEY
      max_tokens: 8192
      showThinking: false
      passthrough:
        reasoning_effort: low
  strategies:
    - basic
  • O ID é openai:chat: seguido do ID do nosso modelo. apiBaseUrl termina em /v1.
  • apiKeyEnvar lê sua chave de ABLITERATEDLLM_API_KEY. Se essa variável não estiver definida, o promptfoo não recorre a OPENAI_API_KEY.
  • max_tokens substitui o padrão de 1024 que o promptfoo usa para modelos que ele não reconhece como modelos de raciocínio, o que inclui os nossos. O glm-5.3-cyber-abliterated e o glm-5.3-flash-abliterated raciocinam antes de responder, e os tokens de raciocínio contam para max_tokens; então, 1024 podem se esgotar antes da resposta. Contas de teste ficam limitadas a 4096.
  • showThinking: false mantém o texto de raciocínio separado do modelo fora dos ataques que ele escreve e das avaliações que o promptfoo interpreta.
  • passthrough adiciona reasoning_effort a cada requisição; o promptfoo só envia a própria opção reasoning_effort para modelos que ele reconhece. No glm-5.3-cyber-abliterated, só low e high têm efeito.
  • redteam.provider define só o atacante e o avaliador. Seus targets continuam como estão.
  • strategies lista só basic porque as estratégias padrão do promptfoo incluem jailbreak:meta e jailbreak:composite, que precisam do serviço hospedado dele e falham com a geração remota desativada. Adicione outras estratégias que rodem localmente, se precisar.

3. Gere e execute

bash
npx promptfoo@latest redteam run

Bom saber

  • Plugins e estratégias só remotos. Com a geração remota desativada, plugins só remotos, como harmful:cybercrime, não geram casos de teste (o promptfoo registra que eles exigem geração remota e continua; --strict interrompe a execução), enquanto estratégias só remotas, como jailbreak:composite, geram um erro. Para usá-los, remova a variável; o promptfoo passa então a gerar esses ataques com o serviço hospedado dele.
  • Verificação automática. As requisições passam pela verificação automática descrita na política de uso aceitável, que recusa material de abuso sexual infantil e instruções executáveis para armas capazes de causar vítimas em massa com 400 content_policy_violation. Depois de 30 requisições rejeitadas em um minuto, as requisições da conta falham com 429 rate_limit_exceeded até a janela reiniciar (veja Limites de requisições e teste grátis); por isso, deixe plugins como harmful:chemical-biological-weapons, harmful:indiscriminate-weapons, harmful:weapons:ied e harmful:child-exploitation fora das execuções que usam nossos modelos.
  • Conteúdo sexual. A política de uso aceitável também proíbe conteúdo sexualmente explícito em todos os modelos, em qualquer parte de uma requisição; por isso, deixe harmful:sexual-content de fora também.
  • Contas de teste permitem 1 requisição simultânea e 4096 tokens de saída. Defina maxConcurrency: 1 em redteam para a geração de ataques e execute com --max-concurrency 1. Veja Limites de requisições e teste grátis.

Verificado na documentação e no código-fonte do promptfoo 0.126.0 em 2026-11-19: Configuração de red team (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), Provedor OpenAI (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (o padrão de max_tokens) e strategies.ts (as estratégias padrão).