연동DeepTeam

DeepTeam

Confident AI의 오픈소스 레드팀 프레임워크인 DeepTeam은 자체적으로 두 모델을 실행합니다. simulator_model은 공격을 작성하고, evaluation_model은 애플리케이션의 응답을 판정합니다. 두 설정 모두 어떤 DeepEval 모델이든 받으며, DeepEval의 LocalModel(local 제공업체)은 base_url을 통해 모든 OpenAI 호환 API에서 작동하므로 두 모델 모두 https://api.abliteratedllm.dev/v1에서 실행할 수 있습니다. 시뮬레이터로는 보안 작업용으로 답변 거부가 제거된 glm-5.3-cyber-abliterated를 사용하세요. glm-5.3-flash-abliterated는 더 저렴한 선택지로, 예를 들어 평가에 쓸 수 있습니다.

DeepTeam은 직접 소유하거나 테스트 권한을 받은 애플리케이션을 대상으로만 실행하세요. 서비스 이용 방식에 대한 책임은 이용자에게 있습니다. 이용 정책을 참고하세요.

자리 표시자: $API_BASE는 https://api.abliteratedllm.dev/v1, $API_ORIGIN은 https://api.abliteratedllm.dev, $YOUR_KEY는 발급받은 API 키입니다.

1. 설치 및 키 설정하기

bash
pip install -U deepteam

예제는 ABLITERATEDLLM_API_KEY 환경 변수에서 키를 읽습니다. Bash 또는 Zsh(계속 유지하려면 이 줄을 ~/.zshrc 또는 ~/.bashrc에 추가하세요):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows(이후에 여는 터미널부터 적용됩니다):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. 당사 모델로 레드팀 테스트하기

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • 모델 이름이 아니라 LocalModel 객체를 전달하세요. 이름만 전달하면 DeepEval의 기본 제공업체 중 하나가 선택됩니다. 또한 red_team()의 기본값은 OpenAI 모델 이름이므로, deepeval set-local-model만 설정한 경우 이 이름이 모델 ID로 당사 API에 전송됩니다.
  • base_url은 /v1로 끝나며, LocalModel은 /v1/chat/completions를 호출합니다.
  • generation_kwargs는 모든 요청에 필드를 추가합니다. reasoning_effort: low는 시뮬레이터의 속도를 빠르게 유지합니다. glm-5.3-cyber-abliterated에서는 low와 high만 적용됩니다.
  • 더 저렴한 판정 모델을 쓰려면 model="glm-5.3-flash-abliterated"로 만든 두 번째 LocalModel을 evaluation_model로 전달하세요.
  • red_team()은 기본적으로 한 번에 최대 10개의 요청을 보냅니다. 체험 계정에서는 max_concurrent=1을 추가하세요.

참고 사항

  • 구조화된 출력: DeepTeam은 두 모델에 JSON을 요청하며, LocalModel은 답변 텍스트에서 JSON을 파싱합니다. DeepTeam은 대규모 스캔에서 잘못된 JSON을 피하려면 자신이 전달하는 스키마를 generate()가 받는 모델을 쓰라고 권장합니다. 그 스키마를 강제하는 사용자 지정 DeepEvalBaseLLM을 작성한다면, 당사 모델은 response_format에서 strict json_schema를 받습니다(POST /v1/chat/completions 참고).
  • 자동 검사: 요청은 이용 정책에 설명된 자동 검사를 거치며, 이 검사는 아동 성착취물과 대량 살상 무기에 대한 실행 가능한 지침을 400 content_policy_violation 오류로 거부합니다. 1분 안에 거부된 요청이 30건 쌓이면 구간이 초기화될 때까지 계정의 요청이 429 rate_limit_exceeded 오류로 실패하므로(속도 제한 및 체험 참고), 당사 모델을 사용하는 실행에는 이런 취약점 유형을 넣지 마세요.
  • 체험 계정은 동시 요청 1건과 출력 토큰 4096개까지 허용합니다. glm-5.3-cyber-abliterated와 glm-5.3-flash-abliterated는 답변하기 전에 추론하며, 추론 토큰도 출력 예산에 포함됩니다. 속도 제한 및 체험을 참고하세요.

2026년 11월 19일에 DeepTeam 1.0.10, DeepEval 4.3.4 문서 및 소스와 대조해 확인했습니다: Red teaming introduction(simulator_model, evaluation_model, max_concurrent), DeepEval의 로컬 모델 설정(LocalModel, base_url, generation_kwargs), 사용자 지정 LLM.