IntegracionesDeepTeam

DeepTeam

DeepTeam, el framework de red teaming de código abierto de Confident AI, usa dos modelos propios: simulator_model escribe los ataques y evaluation_model juzga las respuestas de tu aplicación. Ambos aceptan cualquier modelo de DeepEval, y el LocalModel de DeepEval (su proveedor local) funciona con cualquier API compatible con OpenAI mediante base_url, así que ambos pueden ejecutarse en https://api.abliteratedllm.dev/v1. Usa como simulador glm-5.3-cyber-abliterated, cuyas negativas se eliminaron para el trabajo de seguridad; glm-5.3-flash-abliterated es una opción más económica, por ejemplo para la evaluación.

Ejecuta DeepTeam solo contra aplicaciones que sean tuyas o que tengas autorización para probar. Eres responsable de cómo usas el servicio; consulta la política de uso aceptable.

Marcadores de posición: $API_BASE es https://api.abliteratedllm.dev/v1, $API_ORIGIN es https://api.abliteratedllm.dev y $YOUR_KEY es tu clave de API.

1. Instala y configura tu clave

bash
pip install -U deepteam

El ejemplo lee tu clave de la variable de entorno ABLITERATEDLLM_API_KEY. Bash o Zsh (agrega la línea a ~/.zshrc o ~/.bashrc para conservarla):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows (se aplica a las terminales que abras después):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. Red teaming con nuestros modelos

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • Pasa objetos LocalModel, no nombres de modelo. Un nombre a secas selecciona uno de los proveedores integrados de DeepEval, y red_team() usa de forma predeterminada nombres de modelos de OpenAI, que deepeval set-local-model por sí solo enviaría a nuestra API como ID del modelo.
  • base_url termina en /v1; LocalModel llama a /v1/chat/completions.
  • generation_kwargs agrega campos a cada solicitud. reasoning_effort: low mantiene rápido al simulador; en glm-5.3-cyber-abliterated solo low y high tienen efecto.
  • Para un juez más económico, pasa como evaluation_model un segundo LocalModel con model="glm-5.3-flash-abliterated".
  • De forma predeterminada, red_team() envía hasta 10 solicitudes a la vez. En una cuenta de prueba, agrega max_concurrent=1.

Para tener en cuenta

  • Salida estructurada. DeepTeam pide JSON a ambos modelos, y LocalModel lo extrae del texto de la respuesta. Para escaneos grandes, DeepTeam recomienda modelos cuyo generate() acepte el esquema que les pasa, para evitar JSON no válido. Si escribes un DeepEvalBaseLLM personalizado que aplique ese esquema, nuestros modelos aceptan json_schema estricto en response_format (consulta POST /v1/chat/completions).
  • Control automático. Las solicitudes pasan por el control automático que describe la política de uso aceptable, que rechaza el material de abuso sexual infantil y las instrucciones ejecutables sobre armas capaces de causar víctimas masivas con 400 content_policy_violation. Después de 30 solicitudes rechazadas en un minuto, las solicitudes de la cuenta fallan con 429 rate_limit_exceeded hasta que se reinicie la ventana (consulta Límites de frecuencia y prueba gratis), así que deja esas vulnerabilidades fuera de las ejecuciones que usan nuestros modelos.
  • Las cuentas de prueba permiten 1 solicitud simultánea y 4096 tokens de salida. glm-5.3-cyber-abliterated y glm-5.3-flash-abliterated razonan antes de responder, y los tokens de razonamiento cuentan para el presupuesto de salida. Consulta Límites de frecuencia y prueba gratis.

Verificado con la documentación y el código fuente de DeepTeam 1.0.10 y DeepEval 4.3.4 el 2026-11-19: Introducción al red teaming (simulator_model, evaluation_model, max_concurrent), la configuración de modelos locales de DeepEval (LocalModel, base_url, generation_kwargs) y LLM personalizados.