Integracionespromptfoo

promptfoo

El red team de promptfoo escribe casos de prueba adversarios con un modelo atacante definido en redteam.provider, separado de los objetivos que pruebas, y califica los resultados con el mismo proveedor. De forma predeterminada, promptfoo genera los ataques con su servicio alojado; con PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true, los genera tu redteam.provider. Su proveedor openai:chat: funciona con cualquier API compatible con OpenAI mediante apiBaseUrl, así que puede usar https://api.abliteratedllm.dev/v1. glm-5.3-cyber-abliterated tiene las negativas eliminadas para el trabajo de seguridad; glm-5.3-flash-abliterated es una opción más económica.

Ejecuta los red teams de promptfoo solo contra sistemas que sean tuyos o que tengas autorización para probar. Eres responsable de cómo usas el servicio; consulta la política de uso aceptable.

Marcadores de posición: $API_BASE es https://api.abliteratedllm.dev/v1, $API_ORIGIN es https://api.abliteratedllm.dev y $YOUR_KEY es tu clave de API.

1. Configura tu clave y desactiva la generación remota

Bash o Zsh (agrega las líneas a ~/.zshrc o ~/.bashrc para conservarlas):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"
export PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true

Windows (se aplica a las terminales que abras después):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"
setx PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION true

2. Define el proveedor de red team

Agrega provider y strategies a la sección redteam de tu promptfooconfig.yaml, junto a tus plugins:

yaml
redteam:
  provider:
    id: openai:chat:glm-5.3-cyber-abliterated
    config:
      apiBaseUrl: $API_BASE
      apiKeyEnvar: ABLITERATEDLLM_API_KEY
      max_tokens: 8192
      showThinking: false
      passthrough:
        reasoning_effort: low
  strategies:
    - basic
  • El ID es openai:chat: seguido del ID de nuestro modelo. apiBaseUrl termina en /v1.
  • apiKeyEnvar lee tu clave de ABLITERATEDLLM_API_KEY. Si esa variable no está definida, promptfoo no recurre a OPENAI_API_KEY.
  • max_tokens reemplaza el valor predeterminado de promptfoo, 1024, para los modelos que no reconoce como modelos de razonamiento, entre ellos los nuestros. glm-5.3-cyber-abliterated y glm-5.3-flash-abliterated razonan antes de responder, y los tokens de razonamiento cuentan para max_tokens, así que 1024 pueden agotarse antes de la respuesta. Las cuentas de prueba tienen un tope de 4096.
  • showThinking: false deja el texto de razonamiento aparte del modelo fuera de los ataques que escribe y de las calificaciones que promptfoo interpreta.
  • passthrough agrega reasoning_effort a cada solicitud; promptfoo envía su propia opción reasoning_effort solo para los modelos que reconoce. En glm-5.3-cyber-abliterated solo low y high tienen efecto.
  • redteam.provider define solo el atacante y el calificador. Tus targets se quedan como están.
  • strategies incluye solo basic porque las estrategias predeterminadas de promptfoo incluyen jailbreak:meta y jailbreak:composite, que necesitan su servicio alojado y fallan con la generación remota desactivada. Agrega otras estrategias que se ejecuten localmente si las necesitas.

3. Genera y ejecuta

bash
npx promptfoo@latest redteam run

Para tener en cuenta

  • Plugins y estrategias solo remotos. Con la generación remota desactivada, los plugins solo remotos, como harmful:cybercrime, no generan casos de prueba (promptfoo registra que requieren generación remota y continúa; --strict detiene la ejecución), mientras que las estrategias solo remotas, como jailbreak:composite, producen un error. Para usarlos, elimina la variable; promptfoo entonces genera esos ataques con su servicio alojado.
  • Control automático. Las solicitudes pasan por el control automático que describe la política de uso aceptable, que rechaza el material de abuso sexual infantil y las instrucciones ejecutables sobre armas capaces de causar víctimas masivas con 400 content_policy_violation. Después de 30 solicitudes rechazadas en un minuto, las solicitudes de la cuenta fallan con 429 rate_limit_exceeded hasta que se reinicie la ventana (consulta Límites de frecuencia y prueba gratis), así que deja plugins como harmful:chemical-biological-weapons, harmful:indiscriminate-weapons, harmful:weapons:ied y harmful:child-exploitation fuera de las ejecuciones que usan nuestros modelos.
  • Contenido sexual. La política de uso aceptable también prohíbe el contenido sexualmente explícito en todos los modelos, en cualquier parte de una solicitud, así que deja fuera también harmful:sexual-content.
  • Las cuentas de prueba permiten 1 solicitud simultánea y 4096 tokens de salida. Define maxConcurrency: 1 en redteam para la generación de ataques y ejecuta con --max-concurrency 1. Consulta Límites de frecuencia y prueba gratis.

Verificado con la documentación y el código fuente de promptfoo 0.126.0 el 2026-11-19: Configuración de red team (redteam.provider, PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION), Proveedor de OpenAI (apiBaseUrl, apiKeyEnvar, passthrough), chat.ts (el valor predeterminado de max_tokens) y strategies.ts (las estrategias predeterminadas).