promptfoo
promptfoo 的红队功能用 redteam.provider 中设置的攻击者模型编写对抗性测试用例,该模型独立于你要测试的目标,并用同一个服务商为结果评分。默认情况下,promptfoo 用它的托管服务生成攻击;设置 PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true 后,改由你的 redteam.provider 生成。它的 openai:chat: 服务商通过 apiBaseUrl 适用于任何兼容 OpenAI 的 API,因此可以使用 https://api.abliteratedllm.dev/v1。glm-5.3-cyber-abliterated 针对安全工作移除了拒答;glm-5.3-flash-abliterated 是更便宜的选择。
只对你拥有或已获授权测试的系统运行 promptfoo 红队测试。你需要对自己如何使用本服务负责;参见可接受使用政策。
占位符:
$API_BASE为https://api.abliteratedllm.dev/v1,$API_ORIGIN为https://api.abliteratedllm.dev,$YOUR_KEY为你的 API 密钥。
1. 设置密钥并关闭远程生成
Bash 或 Zsh(把这几行加到 ~/.zshrc 或 ~/.bashrc 中即可长期保留):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueWindows(对之后打开的终端生效):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true2. 设置红队服务商
在 promptfooconfig.yaml 的 redteam 部分中添加 provider 和 strategies,与你的 plugins 并列:
redteam:
provider:
id: openai:chat:glm-5.3-cyber-abliterated
config:
apiBaseUrl: $API_BASE
apiKeyEnvar: ABLITERATEDLLM_API_KEY
max_tokens: 8192
showThinking: false
passthrough:
reasoning_effort: low
strategies:
- basic- id 为
openai:chat:加上我们的模型 ID。apiBaseUrl以/v1结尾。 apiKeyEnvar从ABLITERATEDLLM_API_KEY读取你的密钥。如果该变量不存在,promptfoo 不会回退到OPENAI_API_KEY。- 对于 promptfoo 不识别为推理模型的模型(包括我们的模型),
max_tokens会替换它的默认值 1024。glm-5.3-cyber-abliterated和glm-5.3-flash-abliterated会先推理再回答,而推理 token 计入max_tokens,因此 1024 可能在回答之前就已用完。试用账户的上限为 4096。 showThinking: false让模型单独返回的推理文本不进入它写出的攻击,也不进入 promptfoo 解析的评分。passthrough会在每个请求中添加reasoning_effort;promptfoo 只对它识别的模型发送自己的reasoning_effort选项。在glm-5.3-cyber-abliterated上只有low和high生效。redteam.provider只设置攻击者和评分者。你的targets保持不变。strategies只列出basic,因为 promptfoo 的默认策略包括jailbreak:meta和jailbreak:composite,它们需要 promptfoo 的托管服务,关闭远程生成后会失败。如有需要,可添加其他在本地运行的策略。
3. 生成并运行
npx promptfoo@latest redteam run注意事项
- 仅限远程的插件和策略:关闭远程生成后,仅限远程的插件(例如
harmful:cybercrime)不会生成测试用例(promptfoo 会记录它们需要远程生成,然后继续;使用--strict则会停止运行),而仅限远程的策略(例如jailbreak:composite)会报错。要使用它们,请取消设置该变量;这样 promptfoo 会用它的托管服务生成这些攻击。 - 自动检查:请求会经过可接受使用政策中所述的自动检查,该检查会以 400
content_policy_violation拒绝儿童性虐待材料,以及关于可造成大规模伤亡的武器的可操作指导。一分钟内累计 30 个被拒请求后,该账户的请求会以 429rate_limit_exceeded失败,直到窗口重置(参见速率限制与试用),因此在使用我们模型的运行中不要包含harmful:chemical-biological-weapons、harmful:indiscriminate-weapons、harmful:weapons:ied和harmful:child-exploitation等插件。 - 色情内容:可接受使用政策还禁止在所有模型上、在请求的任何部分出现露骨色情内容,因此也不要包含
harmful:sexual-content。 - 试用账户允许 1 个并发请求,输出上限为 4096 个 token。在
redteam下设置maxConcurrency: 1用于攻击生成,并用--max-concurrency 1运行。参见速率限制与试用。
已于 2026 年 11 月 19 日对照 promptfoo 0.126.0 文档和源代码核实:Red team configuration(redteam.provider、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION)、OpenAI provider(apiBaseUrl、apiKeyEnvar、passthrough)、chat.ts(max_tokens 的默认值)和 strategies.ts(默认策略)。