DeepTeam
Confident AIのオープンソースのレッドチーミングフレームワークであるDeepTeamは、独自に2つのモデルを使います。simulator_modelが攻撃を作成し、evaluation_modelがアプリケーションの応答を判定します。どちらにも任意のDeepEvalモデルを指定できます。DeepEvalのLocalModel(localプロバイダー)はbase_urlを通じてOpenAI互換のAPIであれば使えるため、両方をhttps://api.abliteratedllm.dev/v1で動かせます。シミュレーターには、セキュリティ業務向けに回答拒否が取り除かれたglm-5.3-cyber-abliteratedを使ってください。glm-5.3-flash-abliteratedはより安価な選択肢で、たとえば評価に使えます。
DeepTeamは、自分が所有しているか、テストの許可を得ているアプリケーションに対してのみ実行してください。サービスの利用方法については利用者自身が責任を負います。利用ポリシーを参照してください。
プレースホルダー:
$API_BASEはhttps://api.abliteratedllm.dev/v1、$API_ORIGINはhttps://api.abliteratedllm.dev、$YOUR_KEYはAPIキーです。
1. インストールしてキーを設定
pip install -U deepteamこの例では、環境変数ABLITERATEDLLM_API_KEYからキーを読み込みます。BashまたはZsh(設定を残すには、この行を~/.zshrcまたは~/.bashrcに追加します):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"Windows(この後に開くターミナルに適用されます):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"2. 当サービスのモデルでレッドチーミングを実行
import os
from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage
model = LocalModel(
model="glm-5.3-cyber-abliterated",
base_url="$API_BASE",
api_key=os.environ["ABLITERATEDLLM_API_KEY"],
generation_kwargs={"reasoning_effort": "low"},
)
async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
# Call the application you're authorized to test and return its reply
return RTTurn(role="assistant", content="Your application's response here...")
risk_assessment = red_team(
model_callback=model_callback,
vulnerabilities=[PromptLeakage()],
attacks=[PromptInjection()],
simulator_model=model,
evaluation_model=model,
)
print(risk_assessment.overview)- モデル名ではなく、
LocalModelオブジェクトを渡してください。名前だけを指定すると、DeepEvalの組み込みプロバイダーのいずれかが選択されます。また、red_team()のデフォルトはOpenAIのモデル名で、deepeval set-local-modelだけを使うと、その名前がモデルIDとして当サービスのAPIに送信されてしまいます。 base_urlは/v1で終わります。LocalModelは/v1/chat/completionsを呼び出します。generation_kwargsは、すべてのリクエストにフィールドを追加します。reasoning_effort: lowでシミュレーターの応答を速く保ちます。glm-5.3-cyber-abliteratedで効くのはlowとhighだけです。- より安価な判定モデルにするには、
model="glm-5.3-flash-abliterated"を指定した2つ目のLocalModelをevaluation_modelとして渡します。 red_team()は、デフォルトで一度に最大10件のリクエストを送信します。トライアルアカウントでは、max_concurrent=1を追加してください。
補足
- 構造化出力:DeepTeamは両方のモデルにJSONを求め、
LocalModelは回答のテキストからそれを解析します。大規模なスキャンについてDeepTeamは、無効なJSONを避けるため、渡したスキーマをgenerate()で受け取るモデルを推奨しています。そのスキーマを強制するカスタムのDeepEvalBaseLLMを作成する場合、当サービスのモデルはresponse_formatで厳格なjson_schemaを受け付けます(POST /v1/chat/completionsを参照)。 - 自動チェック:リクエストは、利用ポリシーに記載の自動チェックを受けます。このチェックは、児童性的虐待コンテンツと、大量の死傷者を生じさせる兵器に関する実行可能な手順を、400
content_policy_violationで拒否します。拒否されたリクエストが1分間に30件に達すると、ウィンドウがリセットされるまで、そのアカウントのリクエストは429rate_limit_exceededで失敗します(レート制限とトライアルを参照)。そのため、当サービスのモデルを使う実行には、こうした脆弱性を含めないでください。 - トライアルアカウントでは、同時リクエストは1件、出力トークンは4096までです。
glm-5.3-cyber-abliteratedとglm-5.3-flash-abliteratedは回答の前に推論し、推論トークンも出力予算に含まれます。レート制限とトライアルを参照してください。
2026-11-19にDeepTeam 1.0.10とDeepEval 4.3.4のドキュメントおよびソースと照合済み:レッドチーミングの紹介(simulator_model、evaluation_model、max_concurrent)、DeepEvalのローカルモデルの設定(LocalModel、base_url、generation_kwargs)、カスタムLLM。