promptfoo
promptfooのレッドチーム機能は、テスト対象のターゲットとは別にredteam.providerで設定した攻撃側モデルで敵対的なテストケースを作成し、同じプロバイダーで結果を採点します。デフォルトでは、promptfooはホスト型サービスで攻撃を生成しますが、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueを設定すると、代わりにredteam.providerが攻撃を生成します。promptfooのopenai:chat:プロバイダーはapiBaseUrlを通じてOpenAI互換のAPIであれば使えるため、https://api.abliteratedllm.dev/v1を使えます。glm-5.3-cyber-abliteratedは、セキュリティ業務向けに回答拒否が取り除かれています。glm-5.3-flash-abliteratedは、より安価な選択肢です。
promptfooのレッドチームは、自分が所有しているか、テストの許可を得ているシステムに対してのみ実行してください。サービスの利用方法については利用者自身が責任を負います。利用ポリシーを参照してください。
プレースホルダー:
$API_BASEはhttps://api.abliteratedllm.dev/v1、$API_ORIGINはhttps://api.abliteratedllm.dev、$YOUR_KEYはAPIキーです。
1. キーを設定してリモート生成をオフにする
BashまたはZsh(設定を残すには、これらの行を~/.zshrcまたは~/.bashrcに追加します):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueWindows(この後に開くターミナルに適用されます):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true2. レッドチームプロバイダーを設定
promptfooconfig.yamlのredteamセクションに、pluginsと並べてproviderとstrategiesを追加します。
redteam:
provider:
id: openai:chat:glm-5.3-cyber-abliterated
config:
apiBaseUrl: $API_BASE
apiKeyEnvar: ABLITERATEDLLM_API_KEY
max_tokens: 8192
showThinking: false
passthrough:
reasoning_effort: low
strategies:
- basic- IDは、
openai:chat:の後に当サービスのモデルIDを続けたものです。apiBaseUrlは/v1で終わります。 apiKeyEnvarは、ABLITERATEDLLM_API_KEYからキーを読み込みます。この変数が未設定の場合でも、promptfooはOPENAI_API_KEYにフォールバックしません。max_tokensは、promptfooが推論モデルとして認識しないモデル(当サービスのモデルも含みます)に対するデフォルトの1024を置き換えます。glm-5.3-cyber-abliteratedとglm-5.3-flash-abliteratedは回答の前に推論し、推論トークンもmax_tokensに含まれるため、1024では回答の前に使い切ってしまうことがあります。トライアルアカウントの上限は4096です。showThinking: falseにより、モデルが別に返す推論テキストが、モデルの書く攻撃にも、promptfooが解析する採点にも入らなくなります。passthroughは、すべてのリクエストにreasoning_effortを追加します。promptfoo独自のreasoning_effortオプションは、promptfooが認識するモデルにしか送信されません。glm-5.3-cyber-abliteratedで効くのはlowとhighだけです。redteam.providerが設定するのは、攻撃側モデルと採点モデルだけです。targetsはそのままです。strategiesにbasicだけを指定しているのは、promptfooのデフォルトの戦略にjailbreak:metaとjailbreak:compositeが含まれ、これらはホスト型サービスが必要で、リモート生成をオフにすると失敗するためです。必要であれば、ローカルで動作するほかの戦略を追加してください。
3. 生成して実行
npx promptfoo@latest redteam run補足
- リモート専用のプラグインと戦略:リモート生成をオフにすると、
harmful:cybercrimeのようなリモート専用のプラグインはテストケースを生成しません(promptfooはリモート生成が必要だとログに記録して続行します。--strictを付けると実行が止まります)。一方、jailbreak:compositeのようなリモート専用の戦略はエラーになります。それらを使うには変数の設定を解除してください。解除すると、promptfooはそれらの攻撃をホスト型サービスで生成します。 - 自動チェック:リクエストは、利用ポリシーに記載の自動チェックを受けます。このチェックは、児童性的虐待コンテンツと、大量の死傷者を生じさせる兵器に関する実行可能な手順を、400
content_policy_violationで拒否します。拒否されたリクエストが1分間に30件に達すると、ウィンドウがリセットされるまで、そのアカウントのリクエストは429rate_limit_exceededで失敗します(レート制限とトライアルを参照)。そのため、当サービスのモデルを使う実行には、harmful:chemical-biological-weapons、harmful:indiscriminate-weapons、harmful:weapons:ied、harmful:child-exploitationなどのプラグインを含めないでください。 - 性的なコンテンツ:利用ポリシーは、すべてのモデルで、リクエストのどの部分においても、性的に露骨なコンテンツも禁止しているため、
harmful:sexual-contentも除外してください。 - トライアルアカウントでは、同時リクエストは1件、出力トークンは4096までです。攻撃の生成用に
redteamの下にmaxConcurrency: 1を設定し、--max-concurrency 1を付けて実行してください。レート制限とトライアルを参照してください。
2026-11-19にpromptfoo 0.126.0のドキュメントおよびソースと照合済み:レッドチームの設定(redteam.provider、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION)、OpenAIプロバイダー(apiBaseUrl、apiKeyEnvar、passthrough)、chat.ts(max_tokensのデフォルト)、strategies.ts(デフォルトの戦略)。