DeepTeam
DeepTeam, фреймворк для red teaming с открытым исходным кодом от Confident AI, использует две собственные модели: simulator_model пишет атаки, а evaluation_model оценивает ответы вашего приложения. Для обеих можно указать любую модель DeepEval, а LocalModel из DeepEval (его провайдер local) работает с любым API, совместимым с OpenAI, через base_url, поэтому обе модели могут работать на https://api.abliteratedllm.dev/v1. В качестве симулятора используйте glm-5.3-cyber-abliterated, у которой отказы убраны для работы в области кибербезопасности; glm-5.3-flash-abliterated — более дешёвый вариант, например для оценки.
Запускайте DeepTeam только против приложений, которые принадлежат вам или на тестирование которых у вас есть разрешение. Вы несёте ответственность за то, как используете сервис; см. правила допустимого использования.
Обозначения:
$API_BASE— этоhttps://api.abliteratedllm.dev/v1,$API_ORIGIN—https://api.abliteratedllm.dev, а$YOUR_KEY— ваш API-ключ.
1. Установите DeepTeam и задайте ключ
pip install -U deepteamПример берёт ключ из переменной окружения ABLITERATEDLLM_API_KEY. Bash или Zsh (чтобы настройка сохранилась, добавьте строку в ~/.zshrc или ~/.bashrc):
export ABLITERATEDLLM_API_KEY="$YOUR_KEY"Windows (действует в терминалах, открытых после этого):
setx ABLITERATEDLLM_API_KEY "$YOUR_KEY"2. Проведите red teaming с нашими моделями
import os
from deepeval.models import LocalModel
from deepteam import red_team
from deepteam.attacks.single_turn import PromptInjection
from deepteam.test_case import RTTurn
from deepteam.vulnerabilities import PromptLeakage
model = LocalModel(
model="glm-5.3-cyber-abliterated",
base_url="$API_BASE",
api_key=os.environ["ABLITERATEDLLM_API_KEY"],
generation_kwargs={"reasoning_effort": "low"},
)
async def model_callback(input: str, turns: list[RTTurn] = None) -> RTTurn:
# Call the application you're authorized to test and return its reply
return RTTurn(role="assistant", content="Your application's response here...")
risk_assessment = red_team(
model_callback=model_callback,
vulnerabilities=[PromptLeakage()],
attacks=[PromptInjection()],
simulator_model=model,
evaluation_model=model,
)
print(risk_assessment.overview)- Передавайте объекты
LocalModel, а не названия моделей. Простое название выбирает один из встроенных провайдеров DeepEval, аred_team()по умолчанию использует названия моделей OpenAI, которые при одном толькоdeepeval set-local-modelотправлялись бы в наш API как ID модели. base_urlзаканчивается на/v1;LocalModelобращается к/v1/chat/completions.generation_kwargsдобавляет поля в каждый запрос.reasoning_effort: lowсохраняет скорость симулятора; уglm-5.3-cyber-abliteratedдействуют толькоlowиhigh.- Для более дешёвого оценщика передайте как
evaluation_modelвторойLocalModelсmodel="glm-5.3-flash-abliterated". - По умолчанию
red_team()отправляет до 10 запросов одновременно. На пробном аккаунте добавьтеmax_concurrent=1.
Полезно знать
- Структурированный вывод. DeepTeam запрашивает у обеих моделей JSON, а
LocalModelизвлекает его из текста ответа. Для больших сканирований DeepTeam рекомендует модели, у которыхgenerate()принимает передаваемую DeepTeam схему, чтобы избежать невалидного JSON. Если вы напишете собственныйDeepEvalBaseLLM, который применяет эту схему, наши модели принимают строгийjson_schemaвresponse_format(см. POST /v1/chat/completions). - Автоматическая проверка. Запросы проходят автоматическую проверку, описанную в правилах допустимого использования: она отклоняет материалы сексуального насилия над детьми и практически применимые инструкции по оружию, способному вызвать массовое поражение людей, с ошибкой 400
content_policy_violation. После 30 отклонённых запросов за одну минуту запросы аккаунта завершаются ошибкой 429rate_limit_exceeded, пока окно не сбросится (см. Лимиты запросов и пробный доступ), поэтому не включайте такие уязвимости в запуски, использующие наши модели. - Пробные аккаунты допускают 1 параллельный запрос и 4096 выходных токенов.
glm-5.3-cyber-abliteratedиglm-5.3-flash-abliteratedрассуждают перед ответом, а токены рассуждений учитываются в бюджете вывода. См. Лимиты запросов и пробный доступ.
Проверено 19 ноября 2026 г. по документации и исходному коду DeepTeam 1.0.10 и DeepEval 4.3.4: Red teaming introduction (simulator_model, evaluation_model, max_concurrent), настройка локальной модели в DeepEval (LocalModel, base_url, generation_kwargs) и пользовательские LLM.