集成promptfoo

promptfoo

promptfoo 的红队功能用 redteam.provider 中设置的攻击者模型编写对抗性测试用例,该模型独立于你要测试的目标,并用同一个服务商为结果评分。默认情况下,promptfoo 用它的托管服务生成攻击;设置 PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true 后,改由你的 redteam.provider 生成。它的 openai:chat: 服务商通过 apiBaseUrl 适用于任何兼容 OpenAI 的 API,因此可以使用 https://api.abliteratedllm.dev/v1。glm-5.3-cyber-abliterated 针对安全工作移除了拒答;glm-5.3-flash-abliterated 是更便宜的选择。

只对你拥有或已获授权测试的系统运行 promptfoo 红队测试。你需要对自己如何使用本服务负责;参见可接受使用政策。

占位符:$API_BASE 为 https://api.abliteratedllm.dev/v1,$API_ORIGIN 为 https://api.abliteratedllm.dev,$YOUR_KEY 为你的 API 密钥。

1. 设置密钥并关闭远程生成

Bash 或 Zsh(把这几行加到 ~/.zshrc 或 ~/.bashrc 中即可长期保留):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true

Windows(对之后打开的终端生效):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true

2. 设置红队服务商

在 promptfooconfig.yaml 的 redteam 部分中添加 provider 和 strategies,与你的 plugins 并列:

yaml
redteam:
  provider:
    id: openai:chat:glm-5.3-cyber-abliterated
    config:
      apiBaseUrl: $API_BASE
      apiKeyEnvar: ABLITERATEDLLM_API_KEY
      max_tokens: 8192
      showThinking: false
      passthrough:
        reasoning_effort: low
  strategies:
    - basic
  • id 为 openai:chat: 加上我们的模型 ID。apiBaseUrl 以 /v1 结尾。
  • apiKeyEnvar 从 ABLITERATEDLLM_API_KEY 读取你的密钥。如果该变量不存在,promptfoo 不会回退到 OPENAI_API_KEY。
  • 对于 promptfoo 不识别为推理模型的模型(包括我们的模型),max_tokens 会替换它的默认值 1024。glm-5.3-cyber-abliterated 和 glm-5.3-flash-abliterated 会先推理再回答,而推理 token 计入 max_tokens,因此 1024 可能在回答之前就已用完。试用账户的上限为 4096。
  • showThinking: false 让模型单独返回的推理文本不进入它写出的攻击,也不进入 promptfoo 解析的评分。
  • passthrough 会在每个请求中添加 reasoning_effort;promptfoo 只对它识别的模型发送自己的 reasoning_effort 选项。在 glm-5.3-cyber-abliterated 上只有 low 和 high 生效。
  • redteam.provider 只设置攻击者和评分者。你的 targets 保持不变。
  • strategies 只列出 basic,因为 promptfoo 的默认策略包括 jailbreak:meta 和 jailbreak:composite,它们需要 promptfoo 的托管服务,关闭远程生成后会失败。如有需要,可添加其他在本地运行的策略。

3. 生成并运行

bash
npx promptfoo@latest redteam run

注意事项

  • 仅限远程的插件和策略:关闭远程生成后,仅限远程的插件(例如 harmful:cybercrime)不会生成测试用例(promptfoo 会记录它们需要远程生成,然后继续;使用 --strict 则会停止运行),而仅限远程的策略(例如 jailbreak:composite)会报错。要使用它们,请取消设置该变量;这样 promptfoo 会用它的托管服务生成这些攻击。
  • 自动检查:请求会经过可接受使用政策中所述的自动检查,该检查会以 400 content_policy_violation 拒绝儿童性虐待材料,以及关于可造成大规模伤亡的武器的可操作指导。一分钟内累计 30 个被拒请求后,该账户的请求会以 429 rate_limit_exceeded 失败,直到窗口重置(参见速率限制与试用),因此在使用我们模型的运行中不要包含 harmful:chemical-biological-weapons、harmful:indiscriminate-weapons、harmful:weapons:ied 和 harmful:child-exploitation 等插件。
  • 色情内容:可接受使用政策还禁止在所有模型上、在请求的任何部分出现露骨色情内容,因此也不要包含 harmful:sexual-content。
  • 试用账户允许 1 个并发请求,输出上限为 4096 个 token。在 redteam 下设置 maxConcurrency: 1 用于攻击生成,并用 --max-concurrency 1 运行。参见速率限制与试用。

已于 2026 年 11 月 19 日对照 promptfoo 0.126.0 文档和源代码核实:Red team configuration(redteam.provider、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION)、OpenAI provider(apiBaseUrl、apiKeyEnvar、passthrough)、chat.ts(max_tokens 的默认值)和 strategies.ts(默认策略)。