集成DeepTeam

DeepTeam

DeepTeam 是 Confident AI 的开源红队测试框架,它自己运行两个模型:simulator_model 编写攻击,evaluation_model 评判你的应用的响应。两者都接受任何 DeepEval 模型,而 DeepEval 的 LocalModel(即它的 local 服务商)通过 base_url 适用于任何兼容 OpenAI 的 API,因此两者都可以运行在 https://api.abliteratedllm.dev/v1 上。用针对安全工作移除了拒答的 glm-5.3-cyber-abliterated 作为模拟器;glm-5.3-flash-abliterated 是更便宜的选择,例如用于评估。

只对你拥有或已获授权测试的应用运行 DeepTeam。你需要对自己如何使用本服务负责;参见可接受使用政策。

占位符:$API_BASE 为 https://api.abliteratedllm.dev/v1,$API_ORIGIN 为 https://api.abliteratedllm.dev,$YOUR_KEY 为你的 API 密钥。

1. 安装并设置密钥

bash
pip install -U deepteam

示例从 ABLITERATEDLLM_API_KEY 环境变量读取你的密钥。Bash 或 Zsh(把这一行加到 ~/.zshrc 或 ~/.bashrc 中即可长期保留):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows(对之后打开的终端生效):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. 用我们的模型进行红队测试

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • 传入 LocalModel 对象,而不是模型名称。单纯的名称会选择 DeepEval 的某个内置服务商,而 red_team() 默认使用 OpenAI 模型名称;如果只运行 deepeval set-local-model,这些名称会作为模型 ID 发送到我们的 API。
  • base_url 以 /v1 结尾;LocalModel 调用 /v1/chat/completions。
  • generation_kwargs 会在每个请求中添加字段。reasoning_effort: low 让模拟器保持快速;在 glm-5.3-cyber-abliterated 上只有 low 和 high 生效。
  • 如果想用更便宜的评判模型,把第二个设置了 model="glm-5.3-flash-abliterated" 的 LocalModel 作为 evaluation_model 传入。
  • red_team() 默认最多同时发送 10 个请求。在试用账户上,添加 max_concurrent=1。

注意事项

  • 结构化输出:DeepTeam 要求两个模型都输出 JSON,LocalModel 从回复文本中解析它。对于大规模扫描,DeepTeam 建议使用其 generate() 接受它所传入 schema 的模型,以避免无效 JSON。如果你编写了强制执行该 schema 的自定义 DeepEvalBaseLLM,我们的模型接受 response_format 中的严格 json_schema(参见 POST /v1/chat/completions)。
  • 自动检查:请求会经过可接受使用政策中所述的自动检查,该检查会以 400 content_policy_violation 拒绝儿童性虐待材料,以及关于可造成大规模伤亡的武器的可操作指导。一分钟内累计 30 个被拒请求后,该账户的请求会以 429 rate_limit_exceeded 失败,直到窗口重置(参见速率限制与试用),因此在使用我们模型的运行中不要包含这类漏洞。
  • 试用账户允许 1 个并发请求,输出上限为 4096 个 token。glm-5.3-cyber-abliterated 和 glm-5.3-flash-abliterated 会先推理再回答,而推理 token 计入输出预算。参见速率限制与试用。

已于 2026 年 11 月 19 日对照 DeepTeam 1.0.10 和 DeepEval 4.3.4 的文档和源代码核实:Red teaming introduction(simulator_model、evaluation_model、max_concurrent)、DeepEval 的本地模型配置(LocalModel、base_url、generation_kwargs)和自定义 LLM。