連携promptfoo

promptfoo

promptfooのレッドチーム機能は、テスト対象のターゲットとは別にredteam.providerで設定した攻撃側モデルで敵対的なテストケースを作成し、同じプロバイダーで結果を採点します。デフォルトでは、promptfooはホスト型サービスで攻撃を生成しますが、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueを設定すると、代わりにredteam.providerが攻撃を生成します。promptfooのopenai:chat:プロバイダーはapiBaseUrlを通じてOpenAI互換のAPIであれば使えるため、https://api.abliteratedllm.dev/v1を使えます。glm-5.3-cyber-abliteratedは、セキュリティ業務向けに回答拒否が取り除かれています。glm-5.3-flash-abliteratedは、より安価な選択肢です。

promptfooのレッドチームは、自分が所有しているか、テストの許可を得ているシステムに対してのみ実行してください。サービスの利用方法については利用者自身が責任を負います。利用ポリシーを参照してください。

プレースホルダー:$API_BASEはhttps://api.abliteratedllm.dev/v1、$API_ORIGINはhttps://api.abliteratedllm.dev、$YOUR_KEYはAPIキーです。

1. キーを設定してリモート生成をオフにする

BashまたはZsh(設定を残すには、これらの行を~/.zshrcまたは~/.bashrcに追加します):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true

Windows(この後に開くターミナルに適用されます):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true

2. レッドチームプロバイダーを設定

promptfooconfig.yamlのredteamセクションに、pluginsと並べてproviderとstrategiesを追加します。

yaml
redteam:
  provider:
    id: openai:chat:glm-5.3-cyber-abliterated
    config:
      apiBaseUrl: $API_BASE
      apiKeyEnvar: ABLITERATEDLLM_API_KEY
      max_tokens: 8192
      showThinking: false
      passthrough:
        reasoning_effort: low
  strategies:
    - basic
  • IDは、openai:chat:の後に当サービスのモデルIDを続けたものです。apiBaseUrlは/v1で終わります。
  • apiKeyEnvarは、ABLITERATEDLLM_API_KEYからキーを読み込みます。この変数が未設定の場合でも、promptfooはOPENAI_API_KEYにフォールバックしません。
  • max_tokensは、promptfooが推論モデルとして認識しないモデル(当サービスのモデルも含みます)に対するデフォルトの1024を置き換えます。glm-5.3-cyber-abliteratedとglm-5.3-flash-abliteratedは回答の前に推論し、推論トークンもmax_tokensに含まれるため、1024では回答の前に使い切ってしまうことがあります。トライアルアカウントの上限は4096です。
  • showThinking: falseにより、モデルが別に返す推論テキストが、モデルの書く攻撃にも、promptfooが解析する採点にも入らなくなります。
  • passthroughは、すべてのリクエストにreasoning_effortを追加します。promptfoo独自のreasoning_effortオプションは、promptfooが認識するモデルにしか送信されません。glm-5.3-cyber-abliteratedで効くのはlowとhighだけです。
  • redteam.providerが設定するのは、攻撃側モデルと採点モデルだけです。targetsはそのままです。
  • strategiesにbasicだけを指定しているのは、promptfooのデフォルトの戦略にjailbreak:metaとjailbreak:compositeが含まれ、これらはホスト型サービスが必要で、リモート生成をオフにすると失敗するためです。必要であれば、ローカルで動作するほかの戦略を追加してください。

3. 生成して実行

bash
npx promptfoo@latest redteam run

補足

  • リモート専用のプラグインと戦略:リモート生成をオフにすると、harmful:cybercrimeのようなリモート専用のプラグインはテストケースを生成しません(promptfooはリモート生成が必要だとログに記録して続行します。--strictを付けると実行が止まります)。一方、jailbreak:compositeのようなリモート専用の戦略はエラーになります。それらを使うには変数の設定を解除してください。解除すると、promptfooはそれらの攻撃をホスト型サービスで生成します。
  • 自動チェック:リクエストは、利用ポリシーに記載の自動チェックを受けます。このチェックは、児童性的虐待コンテンツと、大量の死傷者を生じさせる兵器に関する実行可能な手順を、400 content_policy_violationで拒否します。拒否されたリクエストが1分間に30件に達すると、ウィンドウがリセットされるまで、そのアカウントのリクエストは429 rate_limit_exceededで失敗します(レート制限とトライアルを参照)。そのため、当サービスのモデルを使う実行には、harmful:chemical-biological-weapons、harmful:indiscriminate-weapons、harmful:weapons:ied、harmful:child-exploitationなどのプラグインを含めないでください。
  • 性的なコンテンツ:利用ポリシーは、すべてのモデルで、リクエストのどの部分においても、性的に露骨なコンテンツも禁止しているため、harmful:sexual-contentも除外してください。
  • トライアルアカウントでは、同時リクエストは1件、出力トークンは4096までです。攻撃の生成用にredteamの下にmaxConcurrency: 1を設定し、--max-concurrency 1を付けて実行してください。レート制限とトライアルを参照してください。

2026-11-19にpromptfoo 0.126.0のドキュメントおよびソースと照合済み:レッドチームの設定(redteam.provider、PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION)、OpenAIプロバイダー(apiBaseUrl、apiKeyEnvar、passthrough)、chat.ts(max_tokensのデフォルト)、strategies.ts(デフォルトの戦略)。