Интеграцииpromptfoo

promptfoo

Red team в promptfoo пишет состязательные тест-кейсы с помощью атакующей модели, заданной в redteam.provider отдельно от тестируемых целей, и оценивает результаты тем же провайдером. По умолчанию promptfoo генерирует атаки в своём облачном сервисе; с PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true их вместо этого генерирует ваш redteam.provider. Провайдер openai:chat: в promptfoo работает с любым API, совместимым с OpenAI, через apiBaseUrl, поэтому может использовать https://api.abliteratedllm.dev/v1. У glm-5.3-cyber-abliterated отказы убраны для работы в области кибербезопасности; glm-5.3-flash-abliterated — более дешёвый вариант.

Запускайте red teaming в promptfoo только против систем, которые принадлежат вам или на тестирование которых у вас есть разрешение. Вы несёте ответственность за то, как используете сервис; см. правила допустимого использования.

Обозначения: $API_BASE — это https://api.abliteratedllm.dev/v1, $API_ORIGIN — https://api.abliteratedllm.dev, а $YOUR_KEY — ваш API-ключ.

1. Задайте ключ и отключите удалённую генерацию

Bash или Zsh (чтобы настройки сохранились, добавьте строки в ~/.zshrc или ~/.bashrc):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true

Windows (действует в терминалах, открытых после этого):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true

2. Задайте провайдер red team

Добавьте provider и strategies в раздел redteam своего promptfooconfig.yaml, рядом с plugins:

yaml
redteam:
  provider:
    id: openai:chat:glm-5.3-cyber-abliterated
    config:
      apiBaseUrl: $API_BASE
      apiKeyEnvar: ABLITERATEDLLM_API_KEY
      max_tokens: 8192
      showThinking: false
      passthrough:
        reasoning_effort: low
  strategies:
    - basic
  • ID — это openai:chat:, за которым следует ID нашей модели. apiBaseUrl заканчивается на /v1.
  • apiKeyEnvar берёт ключ из ABLITERATEDLLM_API_KEY. Если этой переменной нет, promptfoo не использует вместо неё OPENAI_API_KEY.
  • max_tokens заменяет значение promptfoo по умолчанию, 1024, которое действует для моделей, не распознанных им как рассуждающие, в том числе для наших. glm-5.3-cyber-abliterated и glm-5.3-flash-abliterated рассуждают перед ответом, а токены рассуждений учитываются в max_tokens, поэтому 1024 токенов может не хватить до ответа. На пробных аккаунтах вывод ограничен 4096 токенами.
  • showThinking: false не пускает отдельный текст рассуждений модели в атаки, которые она пишет, и в оценки, которые разбирает promptfoo.
  • passthrough добавляет reasoning_effort в каждый запрос; собственный параметр reasoning_effort promptfoo отправляет только для моделей, которые распознаёт. У glm-5.3-cyber-abliterated действуют только low и high.
  • redteam.provider задаёт только атакующую модель и оценщика. Ваши targets остаются как есть.
  • В strategies указана только basic, потому что стратегии promptfoo по умолчанию включают jailbreak:meta и jailbreak:composite: им нужен облачный сервис promptfoo, и при отключённой удалённой генерации они завершаются ошибкой. Если нужны другие стратегии, работающие локально, добавьте их.

3. Сгенерируйте и запустите

bash
npx promptfoo@latest redteam run

Полезно знать

  • Плагины и стратегии, работающие только удалённо. При отключённой удалённой генерации плагины, работающие только удалённо, например harmful:cybercrime, не создают тестов (promptfoo записывает в лог, что им нужна удалённая генерация, и продолжает; с --strict запуск останавливается), а стратегии, работающие только удалённо, например jailbreak:composite, завершаются ошибкой. Чтобы использовать их, удалите переменную: тогда promptfoo генерирует эти атаки в своём облачном сервисе.
  • Автоматическая проверка. Запросы проходят автоматическую проверку, описанную в правилах допустимого использования: она отклоняет материалы сексуального насилия над детьми и практически применимые инструкции по оружию, способному вызвать массовое поражение людей, с ошибкой 400 content_policy_violation. После 30 отклонённых запросов за одну минуту запросы аккаунта завершаются ошибкой 429 rate_limit_exceeded, пока окно не сбросится (см. Лимиты запросов и пробный доступ), поэтому не включайте такие плагины, как harmful:chemical-biological-weapons, harmful:indiscriminate-weapons, harmful:weapons:ied и harmful:child-exploitation, в запуски, использующие наши модели.
  • Сексуальный контент. Правила допустимого использования также запрещают откровенно сексуальный контент на всех моделях и в любой части запроса, поэтому не включайте и harmful:sexual-content.
  • Пробные аккаунты допускают 1 параллельный запрос и 4096 выходных токенов. Для генерации атак задайте maxConcurrency: 1 в redteam, а запускайте с --max-concurrency 1. См. Лимиты запросов и пробный доступ.

Проверено 19 ноября 2026 г. по документации и исходному коду promptfoo 0.126.0: Red team configuration (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), OpenAI provider (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (значение max_tokens по умолчанию) и strategies.ts (стратегии по умолчанию).