DeepTeam
DeepTeam 是 Confident AI 的开源红队测试框架,它自己运行两个模型:simulator_model 编写攻击,evaluation_model 评判你的应用的响应。两者都接受任何 DeepEval 模型,而 DeepEval 的 LocalModel(即它的 local 服务商)通过 base_url 适用于任何兼容 OpenAI 的 API,因此两者都可以运行在 https://api.abliteratedllm.dev/v1 上。用针对安全工作移除了拒答的 glm-5.3-cyber-abliterated 作为模拟器;glm-5.3-flash-abliterated 是更便宜的选择,例如用于评估。
只对你拥有或已获授权测试的应用运行 DeepTeam。你需要对自己如何使用本服务负责;参见可接受使用政策。
占位符:
$API_BASE为https://api.abliteratedllm.dev/v1,$API_ORIGIN为https://api.abliteratedllm.dev,$YOUR_KEY为你的 API 密钥。
1. 安装并设置密钥
pip install -U deepteam示例从 ABLITERATEDLLM_API_KEY 环境变量读取你的密钥。Bash 或 Zsh(把这一行加到 ~/.zshrc 或 ~/.bashrc 中即可长期保留):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"Windows(对之后打开的终端生效):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"2. 用我们的模型进行红队测试
import os
from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage
model = LocalModel(
model="glm-5.3-cyber-abliterated",
base_url="$API_BASE",
api_key=os.environ["ABLITERATEDLLM_API_KEY"],
generation_kwargs={"reasoning_effort": "low"},
)
async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
# Call the application you're authorized to test and return its reply
return RTTurn(role="assistant", content="Your application's response here...")
risk_assessment = red_team(
model_callback=model_callback,
vulnerabilities=[PromptLeakage()],
attacks=[PromptInjection()],
simulator_model=model,
evaluation_model=model,
)
print(risk_assessment.overview)- 传入
LocalModel对象,而不是模型名称。单纯的名称会选择 DeepEval 的某个内置服务商,而red_team()默认使用 OpenAI 模型名称;如果只运行deepeval set-local-model,这些名称会作为模型 ID 发送到我们的 API。 base_url以/v1结尾;LocalModel调用/v1/chat/completions。generation_kwargs会在每个请求中添加字段。reasoning_effort: low让模拟器保持快速;在glm-5.3-cyber-abliterated上只有low和high生效。- 如果想用更便宜的评判模型,把第二个设置了
model="glm-5.3-flash-abliterated"的LocalModel作为evaluation_model传入。 red_team()默认最多同时发送 10 个请求。在试用账户上,添加max_concurrent=1。
注意事项
- 结构化输出:DeepTeam 要求两个模型都输出 JSON,
LocalModel从回复文本中解析它。对于大规模扫描,DeepTeam 建议使用其generate()接受它所传入 schema 的模型,以避免无效 JSON。如果你编写了强制执行该 schema 的自定义DeepEvalBaseLLM,我们的模型接受response_format中的严格json_schema(参见 POST /v1/chat/completions)。 - 自动检查:请求会经过可接受使用政策中所述的自动检查,该检查会以 400
content_policy_violation拒绝儿童性虐待材料,以及关于可造成大规模伤亡的武器的可操作指导。一分钟内累计 30 个被拒请求后,该账户的请求会以 429rate_limit_exceeded失败,直到窗口重置(参见速率限制与试用),因此在使用我们模型的运行中不要包含这类漏洞。 - 试用账户允许 1 个并发请求,输出上限为 4096 个 token。
glm-5.3-cyber-abliterated和glm-5.3-flash-abliterated会先推理再回答,而推理 token 计入输出预算。参见速率限制与试用。
已于 2026 年 11 月 19 日对照 DeepTeam 1.0.10 和 DeepEval 4.3.4 的文档和源代码核实:Red teaming introduction(simulator_model、evaluation_model、max_concurrent)、DeepEval 的本地模型配置(LocalModel、base_url、generation_kwargs)和自定义 LLM。