promptfoo
El red team de promptfoo escribe casos de prueba adversarios con un modelo atacante definido en redteam.provider, separado de los objetivos que pruebas, y califica los resultados con el mismo proveedor. De forma predeterminada, promptfoo genera los ataques con su servicio alojado; con PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true, los genera tu redteam.provider. Su proveedor openai:chat: funciona con cualquier API compatible con OpenAI mediante apiBaseUrl, así que puede usar https://api.abliteratedllm.dev/v1. glm-5.3-cyber-abliterated tiene las negativas eliminadas para el trabajo de seguridad; glm-5.3-flash-abliterated es una opción más económica.
Ejecuta los red teams de promptfoo solo contra sistemas que sean tuyos o que tengas autorización para probar. Eres responsable de cómo usas el servicio; consulta la política de uso aceptable.
Marcadores de posición:
$API_BASEeshttps://api.abliteratedllm.dev/v1,$API_ORIGINeshttps://api.abliteratedllm.devy$YOUR_KEYes tu clave de API.
1. Configura tu clave y desactiva la generación remota
Bash o Zsh (agrega las líneas a ~/.zshrc o ~/.bashrc para conservarlas):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=trueWindows (se aplica a las terminales que abras después):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true2. Define el proveedor de red team
Agrega provider y strategies a la sección redteam de tu promptfooconfig.yaml, junto a tus plugins:
redteam:
provider:
id: openai:chat:glm-5.3-cyber-abliterated
config:
apiBaseUrl: $API_BASE
apiKeyEnvar: ABLITERATEDLLM_API_KEY
max_tokens: 8192
showThinking: false
passthrough:
reasoning_effort: low
strategies:
- basic- El ID es
openai:chat:seguido del ID de nuestro modelo.apiBaseUrltermina en/v1. apiKeyEnvarlee tu clave deABLITERATEDLLM_API_KEY. Si esa variable no está definida, promptfoo no recurre aOPENAI_API_KEY.max_tokensreemplaza el valor predeterminado de promptfoo, 1024, para los modelos que no reconoce como modelos de razonamiento, entre ellos los nuestros.glm-5.3-cyber-abliteratedyglm-5.3-flash-abliteratedrazonan antes de responder, y los tokens de razonamiento cuentan paramax_tokens, así que 1024 pueden agotarse antes de la respuesta. Las cuentas de prueba tienen un tope de 4096.showThinking: falsedeja el texto de razonamiento aparte del modelo fuera de los ataques que escribe y de las calificaciones que promptfoo interpreta.passthroughagregareasoning_efforta cada solicitud; promptfoo envía su propia opciónreasoning_effortsolo para los modelos que reconoce. Englm-5.3-cyber-abliteratedsololowyhightienen efecto.redteam.providerdefine solo el atacante y el calificador. Tustargetsse quedan como están.strategiesincluye solobasicporque las estrategias predeterminadas de promptfoo incluyenjailbreak:metayjailbreak:composite, que necesitan su servicio alojado y fallan con la generación remota desactivada. Agrega otras estrategias que se ejecuten localmente si las necesitas.
3. Genera y ejecuta
npx promptfoo@latest redteam runPara tener en cuenta
- Plugins y estrategias solo remotos. Con la generación remota desactivada, los plugins solo remotos, como
harmful:cybercrime, no generan casos de prueba (promptfoo registra que requieren generación remota y continúa;--strictdetiene la ejecución), mientras que las estrategias solo remotas, comojailbreak:composite, producen un error. Para usarlos, elimina la variable; promptfoo entonces genera esos ataques con su servicio alojado. - Control automático. Las solicitudes pasan por el control automático que describe la política de uso aceptable, que rechaza el material de abuso sexual infantil y las instrucciones ejecutables sobre armas capaces de causar víctimas masivas con 400
content_policy_violation. Después de 30 solicitudes rechazadas en un minuto, las solicitudes de la cuenta fallan con 429rate_limit_exceededhasta que se reinicie la ventana (consulta Límites de frecuencia y prueba gratis), así que deja plugins comoharmful:chemical-biological-weapons,harmful:indiscriminate-weapons,harmful:weapons:iedyharmful:child-exploitationfuera de las ejecuciones que usan nuestros modelos. - Contenido sexual. La política de uso aceptable también prohíbe el contenido sexualmente explícito en todos los modelos, en cualquier parte de una solicitud, así que deja fuera también
harmful:sexual-content. - Las cuentas de prueba permiten 1 solicitud simultánea y 4096 tokens de salida. Define
maxConcurrency: 1enredteampara la generación de ataques y ejecuta con--max-concurrency 1. Consulta Límites de frecuencia y prueba gratis.
Verificado con la documentación y el código fuente de promptfoo 0.126.0 el 2026-11-19: Configuración de red team (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), Proveedor de OpenAI (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (el valor predeterminado de max_tokens) y strategies.ts (las estrategias predeterminadas).