promptfoo
Red team в promptfoo пишет состязательные тест-кейсы с помощью атакующей модели, заданной в redteam.provider отдельно от тестируемых целей, и оценивает результаты тем же провайдером. По умолчанию promptfoo генерирует атаки в своём облачном сервисе; с PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true их вместо этого генерирует ваш redteam.provider. Провайдер openai:chat: в promptfoo работает с любым API, совместимым с OpenAI, через apiBaseUrl, поэтому может использовать https://api.abliteratedllm.dev/v1. У glm-5.3-cyber-abliterated отказы убраны для работы в области кибербезопасности; glm-5.3-flash-abliterated — более дешёвый вариант.
Запускайте red teaming в promptfoo только против систем, которые принадлежат вам или на тестирование которых у вас есть разрешение. Вы несёте ответственность за то, как используете сервис; см. правила допустимого использования.
Обозначения:
$API_BASE— этоhttps://api.abliteratedllm.dev/v1,$API_ORIGIN—https://api.abliteratedllm.dev, а$YOUR_KEY— ваш API-ключ.
1. Задайте ключ и отключите удалённую генерацию
Bash или Zsh (чтобы настройки сохранились, добавьте строки в ~/.zshrc или ~/.bashrc):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueWindows (действует в терминалах, открытых после этого):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true2. Задайте провайдер red team
Добавьте provider и strategies в раздел redteam своего promptfooconfig.yaml, рядом с plugins:
redteam:
provider:
id: openai:chat:glm-5.3-cyber-abliterated
config:
apiBaseUrl: $API_BASE
apiKeyEnvar: ABLITERATEDLLM_API_KEY
max_tokens: 8192
showThinking: false
passthrough:
reasoning_effort: low
strategies:
- basic- ID — это
openai:chat:, за которым следует ID нашей модели.apiBaseUrlзаканчивается на/v1. apiKeyEnvarберёт ключ изABLITERATEDLLM_API_KEY. Если этой переменной нет, promptfoo не использует вместо неёOPENAI_API_KEY.max_tokensзаменяет значение promptfoo по умолчанию, 1024, которое действует для моделей, не распознанных им как рассуждающие, в том числе для наших.glm-5.3-cyber-abliteratedиglm-5.3-flash-abliteratedрассуждают перед ответом, а токены рассуждений учитываются вmax_tokens, поэтому 1024 токенов может не хватить до ответа. На пробных аккаунтах вывод ограничен 4096 токенами.showThinking: falseне пускает отдельный текст рассуждений модели в атаки, которые она пишет, и в оценки, которые разбирает promptfoo.passthroughдобавляетreasoning_effortв каждый запрос; собственный параметрreasoning_effortpromptfoo отправляет только для моделей, которые распознаёт. Уglm-5.3-cyber-abliteratedдействуют толькоlowиhigh.redteam.providerзадаёт только атакующую модель и оценщика. Вашиtargetsостаются как есть.- В
strategiesуказана толькоbasic, потому что стратегии promptfoo по умолчанию включаютjailbreak:metaиjailbreak:composite: им нужен облачный сервис promptfoo, и при отключённой удалённой генерации они завершаются ошибкой. Если нужны другие стратегии, работающие локально, добавьте их.
3. Сгенерируйте и запустите
npx promptfoo@latest redteam runПолезно знать
- Плагины и стратегии, работающие только удалённо. При отключённой удалённой генерации плагины, работающие только удалённо, например
harmful:cybercrime, не создают тестов (promptfoo записывает в лог, что им нужна удалённая генерация, и продолжает; с--strictзапуск останавливается), а стратегии, работающие только удалённо, напримерjailbreak:composite, завершаются ошибкой. Чтобы использовать их, удалите переменную: тогда promptfoo генерирует эти атаки в своём облачном сервисе. - Автоматическая проверка. Запросы проходят автоматическую проверку, описанную в правилах допустимого использования: она отклоняет материалы сексуального насилия над детьми и практически применимые инструкции по оружию, способному вызвать массовое поражение людей, с ошибкой 400
content_policy_violation. После 30 отклонённых запросов за одну минуту запросы аккаунта завершаются ошибкой 429rate_limit_exceeded, пока окно не сбросится (см. Лимиты запросов и пробный доступ), поэтому не включайте такие плагины, какharmful:chemical-biological-weapons,harmful:indiscriminate-weapons,harmful:weapons:iedиharmful:child-exploitation, в запуски, использующие наши модели. - Сексуальный контент. Правила допустимого использования также запрещают откровенно сексуальный контент на всех моделях и в любой части запроса, поэтому не включайте и
harmful:sexual-content. - Пробные аккаунты допускают 1 параллельный запрос и 4096 выходных токенов. Для генерации атак задайте
maxConcurrency: 1вredteam, а запускайте с--max-concurrency 1. См. Лимиты запросов и пробный доступ.
Проверено 19 ноября 2026 г. по документации и исходному коду promptfoo 0.126.0: Red team configuration (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), OpenAI provider (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (значение max_tokens по умолчанию) и strategies.ts (стратегии по умолчанию).