ИнтеграцииDeepTeam

DeepTeam

DeepTeam, фреймворк для red teaming с открытым исходным кодом от Confident AI, использует две собственные модели: simulator_model пишет атаки, а evaluation_model оценивает ответы вашего приложения. Для обеих можно указать любую модель DeepEval, а LocalModel из DeepEval (его провайдер local) работает с любым API, совместимым с OpenAI, через base_url, поэтому обе модели могут работать на https://api.abliteratedllm.dev/v1. В качестве симулятора используйте glm-5.3-cyber-abliterated, у которой отказы убраны для работы в области кибербезопасности; glm-5.3-flash-abliterated — более дешёвый вариант, например для оценки.

Запускайте DeepTeam только против приложений, которые принадлежат вам или на тестирование которых у вас есть разрешение. Вы несёте ответственность за то, как используете сервис; см. правила допустимого использования.

Обозначения: $API_BASE — это https://api.abliteratedllm.dev/v1, $API_ORIGIN — https://api.abliteratedllm.dev, а $YOUR_KEY — ваш API-ключ.

1. Установите DeepTeam и задайте ключ

bash
pip install -U deepteam

Пример берёт ключ из переменной окружения ABLITERATEDLLM_API_KEY. Bash или Zsh (чтобы настройка сохранилась, добавьте строку в ~/.zshrc или ~/.bashrc):

bash
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"

Windows (действует в терминалах, открытых после этого):

powershell
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"

2. Проведите red teaming с нашими моделями

python
import os

from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage

model = LocalModel(
    model="glm-5.3-cyber-abliterated",
    base_url="$API_BASE",
    api_key=os.environ["ABLITERATEDLLM_API_KEY"],
    generation_kwargs={"reasoning_effort": "low"},
)


async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
    # Call the application you're authorized to test and return its reply
    return RTTurn(role="assistant", content="Your application's response here...")


risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[PromptLeakage()],
    attacks=[PromptInjection()],
    simulator_model=model,
    evaluation_model=model,
)
print(risk_assessment.overview)
  • Передавайте объекты LocalModel, а не названия моделей. Простое название выбирает один из встроенных провайдеров DeepEval, а red_team() по умолчанию использует названия моделей OpenAI, которые при одном только deepeval set-local-model отправлялись бы в наш API как ID модели.
  • base_url заканчивается на /v1; LocalModel обращается к /v1/chat/completions.
  • generation_kwargs добавляет поля в каждый запрос. reasoning_effort: low сохраняет скорость симулятора; у glm-5.3-cyber-abliterated действуют только low и high.
  • Для более дешёвого оценщика передайте как evaluation_model второй LocalModel с model="glm-5.3-flash-abliterated".
  • По умолчанию red_team() отправляет до 10 запросов одновременно. На пробном аккаунте добавьте max_concurrent=1.

Полезно знать

  • Структурированный вывод. DeepTeam запрашивает у обеих моделей JSON, а LocalModel извлекает его из текста ответа. Для больших сканирований DeepTeam рекомендует модели, у которых generate() принимает передаваемую DeepTeam схему, чтобы избежать невалидного JSON. Если вы напишете собственный DeepEvalBaseLLM, который применяет эту схему, наши модели принимают строгий json_schema в response_format (см. POST /v1/chat/completions).
  • Автоматическая проверка. Запросы проходят автоматическую проверку, описанную в правилах допустимого использования: она отклоняет материалы сексуального насилия над детьми и практически применимые инструкции по оружию, способному вызвать массовое поражение людей, с ошибкой 400 content_policy_violation. После 30 отклонённых запросов за одну минуту запросы аккаунта завершаются ошибкой 429 rate_limit_exceeded, пока окно не сбросится (см. Лимиты запросов и пробный доступ), поэтому не включайте такие уязвимости в запуски, использующие наши модели.
  • Пробные аккаунты допускают 1 параллельный запрос и 4096 выходных токенов. glm-5.3-cyber-abliterated и glm-5.3-flash-abliterated рассуждают перед ответом, а токены рассуждений учитываются в бюджете вывода. См. Лимиты запросов и пробный доступ.

Проверено 19 ноября 2026 г. по документации и исходному коду DeepTeam 1.0.10 и DeepEval 4.3.4: Red teaming introduction (simulator_model, evaluation_model, max_concurrent), настройка локальной модели в DeepEval (LocalModel, base_url, generation_kwargs) и пользовательские LLM.