連携DeepTeam

DeepTeam

Confident AIのオープンソースのレッドチーミングフレームワークであるDeepTeamは、独自に2つのモデルを使います。simulator_modelが攻撃を作成し、evaluation_modelがアプリケーションの応答を判定します。どちらにも任意のDeepEvalモデルを指定できます。DeepEvalのLocalModel(localプロバイダー)はbase_urlを通じてOpenAI互換のAPIであれば使えるため、両方をhttps://api.abliteratedllm.dev/v1で動かせます。シミュレーターには、セキュリティ業務向けに回答拒否が取り除かれたglm-5.3-cyber-abliteratedを使ってください。glm-5.3-flash-abliteratedはより安価な選択肢で、たとえば評価に使えます。

DeepTeamは、自分が所有しているか、テストの許可を得ているアプリケーションに対してのみ実行してください。サービスの利用方法については利用者自身が責任を負います。利用ポリシーを参照してください。

プレースホルダー:$API_BASEはhttps://api.abliteratedllm.dev/v1、$API_ORIGINはhttps://api.abliteratedllm.dev、$YOUR_KEYはAPIキーです。

1. インストールしてキーを設定

bash
pip install -U deepteam

この例では、環境変数ABLITERATEDLLM_API_KEYからキーを読み込みます。BashまたはZsh(設定を残すには、この行を~/.zshrcまたは~/.bashrcに追加します):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows(この後に開くターミナルに適用されます):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. 当サービスのモデルでレッドチーミングを実行

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • モデル名ではなく、LocalModelオブジェクトを渡してください。名前だけを指定すると、DeepEvalの組み込みプロバイダーのいずれかが選択されます。また、red_team()のデフォルトはOpenAIのモデル名で、deepeval set-local-modelだけを使うと、その名前がモデルIDとして当サービスのAPIに送信されてしまいます。
  • base_urlは/v1で終わります。LocalModelは/v1/chat/completionsを呼び出します。
  • generation_kwargsは、すべてのリクエストにフィールドを追加します。reasoning_effort: lowでシミュレーターの応答を速く保ちます。glm-5.3-cyber-abliteratedで効くのはlowとhighだけです。
  • より安価な判定モデルにするには、model="glm-5.3-flash-abliterated"を指定した2つ目のLocalModelをevaluation_modelとして渡します。
  • red_team()は、デフォルトで一度に最大10件のリクエストを送信します。トライアルアカウントでは、max_concurrent=1を追加してください。

補足

  • 構造化出力:DeepTeamは両方のモデルにJSONを求め、LocalModelは回答のテキストからそれを解析します。大規模なスキャンについてDeepTeamは、無効なJSONを避けるため、渡したスキーマをgenerate()で受け取るモデルを推奨しています。そのスキーマを強制するカスタムのDeepEvalBaseLLMを作成する場合、当サービスのモデルはresponse_formatで厳格なjson_schemaを受け付けます(POST /v1/chat/completionsを参照)。
  • 自動チェック:リクエストは、利用ポリシーに記載の自動チェックを受けます。このチェックは、児童性的虐待コンテンツと、大量の死傷者を生じさせる兵器に関する実行可能な手順を、400 content_policy_violationで拒否します。拒否されたリクエストが1分間に30件に達すると、ウィンドウがリセットされるまで、そのアカウントのリクエストは429 rate_limit_exceededで失敗します(レート制限とトライアルを参照)。そのため、当サービスのモデルを使う実行には、こうした脆弱性を含めないでください。
  • トライアルアカウントでは、同時リクエストは1件、出力トークンは4096までです。glm-5.3-cyber-abliteratedとglm-5.3-flash-abliteratedは回答の前に推論し、推論トークンも出力予算に含まれます。レート制限とトライアルを参照してください。

2026-11-19にDeepTeam 1.0.10とDeepEval 4.3.4のドキュメントおよびソースと照合済み:レッドチーミングの紹介(simulator_model、evaluation_model、max_concurrent)、DeepEvalのローカルモデルの設定(LocalModel、base_url、generation_kwargs)、カスタムLLM。