IntegraçõesDeepTeam

DeepTeam

O DeepTeam, framework de red teaming de código aberto da Confident AI, executa dois modelos próprios: simulator_model escreve os ataques e evaluation_model julga as respostas da sua aplicação. Os dois aceitam qualquer modelo do DeepEval, e o LocalModel do DeepEval (o provedor local dele) funciona com qualquer API compatível com OpenAI por meio de base_url; assim, os dois podem rodar em https://api.abliteratedllm.dev/v1. Use como simulador o glm-5.3-cyber-abliterated, cujas recusas foram removidas para trabalho de segurança; o glm-5.3-flash-abliterated é uma opção mais barata, por exemplo para a avaliação.

Execute o DeepTeam apenas contra aplicações que sejam suas ou que você tenha autorização para testar. Você é responsável pela forma como usa o serviço; veja a política de uso aceitável.

Marcadores: $API_BASE é https://api.abliteratedllm.dev/v1, $API_ORIGIN é https://api.abliteratedllm.dev e $YOUR_KEY é sua chave de API.

1. Instale e defina sua chave

bash
pip install -U deepteam

O exemplo lê sua chave da variável de ambiente ABLITERATEDLLM_API_KEY. Bash ou Zsh (adicione a linha ao ~/.zshrc ou ao ~/.bashrc para mantê-la):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows (vale para os terminais que você abrir depois):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. Faça red teaming com nossos modelos

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • Passe objetos LocalModel, não nomes de modelo. Um nome simples seleciona um dos provedores integrados do DeepEval, e red_team() usa por padrão nomes de modelos da OpenAI, que, apenas com deepeval set-local-model, seriam enviados à nossa API como ID do modelo.
  • base_url termina em /v1; o LocalModel chama /v1/chat/completions.
  • generation_kwargs adiciona campos a cada requisição. reasoning_effort: low mantém o simulador rápido; no glm-5.3-cyber-abliterated, só low e high têm efeito.
  • Para um juiz mais barato, passe um segundo LocalModel com model="glm-5.3-flash-abliterated" como evaluation_model.
  • Por padrão, red_team() envia até 10 requisições ao mesmo tempo. Em uma conta de teste, adicione max_concurrent=1.

Bom saber

  • Saída estruturada. O DeepTeam pede JSON aos dois modelos, e o LocalModel o extrai do texto da resposta. Para varreduras grandes, o DeepTeam recomenda modelos cujo generate() aceite o schema que ele passa, para evitar JSON inválido. Se você escrever um DeepEvalBaseLLM personalizado que imponha esse schema, nossos modelos aceitam json_schema estrito em response_format (veja POST /v1/chat/completions).
  • Verificação automática. As requisições passam pela verificação automática descrita na política de uso aceitável, que recusa material de abuso sexual infantil e instruções executáveis para armas capazes de causar vítimas em massa com 400 content_policy_violation. Depois de 30 requisições rejeitadas em um minuto, as requisições da conta falham com 429 rate_limit_exceeded até a janela reiniciar (veja Limites de requisições e teste grátis); por isso, deixe vulnerabilidades desse tipo fora das execuções que usam nossos modelos.
  • Contas de teste permitem 1 requisição simultânea e 4096 tokens de saída. O glm-5.3-cyber-abliterated e o glm-5.3-flash-abliterated raciocinam antes de responder, e os tokens de raciocínio contam para o orçamento de saída. Veja Limites de requisições e teste grátis.

Verificado na documentação e no código-fonte do DeepTeam 1.0.10 e do DeepEval 4.3.4 em 2026-11-19: Introdução ao red teaming (simulator_model, evaluation_model, max_concurrent), a configuração de modelos locais do DeepEval (LocalModel, base_url, generation_kwargs) e LLMs personalizados.