ИнтеграцииOpenAI SDK

OpenAI SDK

Официальные OpenAI SDK работают без изменений. Укажите базовый URL https://api.abliteratedllm.dev/v1 и свой API-ключ. Доступны и chat completions, и Responses API без сохранения состояния.

Обозначения: $API_BASE — это https://api.abliteratedllm.dev/v1, $API_ORIGIN — https://api.abliteratedllm.dev, а $YOUR_KEY — ваш API-ключ.

Оба SDK также читают переменные окружения OPENAI_BASE_URL и OPENAI_API_KEY, поэтому существующий код можно переключить без правок:

bash
export OPENAI_BASE_URL="$API_BASE"
export OPENAI_API_KEY="$YOUR_KEY"

Python

bash
pip install openai

Chat completions с потоковой передачей:

python
from openai import OpenAI

client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")

stream = client.chat.completions.create(
    model="glm-5.3-flash-abliterated",
    messages=[
        {"role": "system", "content": "You are a witty fantasy narrator."},
        {"role": "user", "content": "Describe a tavern brawl in four sentences."},
    ],
    reasoning_effort="low",
    max_tokens=1024,
    stream=True,
)
for chunk in stream:
    # Usage arrives in a final chunk whose choices list is empty.
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
    if chunk.usage:
        print(f"\n\n{chunk.usage.prompt_tokens} in, {chunk.usage.completion_tokens} out")

Responses API (без сохранения состояния, поэтому каждый раз отправляйте весь диалог):

python
response = client.responses.create(
    model="glm-5.3-flash-abliterated",
    instructions="Answer in one sentence.",
    input="What is the boiling point of water at sea level in Fahrenheit?",
    reasoning={"effort": "low"},
)
print(response.output_text)

JavaScript и TypeScript

bash
npm install openai

Chat completions с потоковой передачей:

js
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "$API_BASE", apiKey: "$YOUR_KEY" });

const stream = await client.chat.completions.create({
  model: "glm-5.3-flash-abliterated",
  messages: [
    { role: "system", content: "You are a witty fantasy narrator." },
    { role: "user", content: "Describe a tavern brawl in four sentences." },
  ],
  reasoning_effort: "low",
  max_tokens: 1024,
  stream: true,
});
for await (const chunk of stream) {
  // Usage arrives in a final chunk whose choices array is empty.
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
  if (chunk.usage) console.log(`\n\n${chunk.usage.prompt_tokens} in, ${chunk.usage.completion_tokens} out`);
}

Responses API:

js
const response = await client.responses.create({
  model: "glm-5.3-flash-abliterated",
  instructions: "Answer in one sentence.",
  input: "What is the boiling point of water at sea level in Fahrenheit?",
  reasoning: { effort: "low" },
});
console.log(response.output_text);

Полезно знать

  • Ошибки имеют формат OpenAI, поэтому SDK выбрасывают свои обычные исключения (RateLimitError, AuthenticationError и т. д.). Каждая ошибка содержит в code один из наших кодов ошибок. Исключение — запрос без потоковой передачи, который всё ещё выполняется через 90 секунд: его статус уже 200, поэтому ошибка после этого момента приходит в теле ответа. Проверяйте наличие поля error верхнего уровня; см. Долгие запросы.
  • Повторные попытки. По умолчанию SDK несколько раз повторяют запрос при ответах 429 и 5xx и учитывают заголовок Retry-After, который мы отправляем с capacity_exhausted и с 503 model_unavailable (у модели сейчас нет мощностей для обслуживания запросов). Сбой с model_unavailable может длиться несколько минут, поэтому, если повторные попытки исчерпаны, переключитесь на другую модель. См. Ошибки.
  • Responses работает без сохранения состояния: store всегда false, а previous_response_id возвращает 400 stateless_only. См. POST /v1/responses.
  • Изображения и видео. Изображения на входе работают с моделями, у которых input_modalities в GET /v1/models содержит image, а video_url (только URL с https) — с моделями, у которых там есть video. Другие модели отклоняют их с ошибкой 400 unsupported_content. Аудио и файлы на входе так же вызывают ошибку на любой модели. См. POST /v1/chat/completions.

Проверено по документации OpenAI SDK 3 ноября 2026 г.: openai-python (base_url, OPENAI_BASE_URL) и openai-node (baseURL, OPENAI_BASE_URL).