연동OpenAI SDK

OpenAI SDK

공식 OpenAI SDK를 수정 없이 그대로 사용할 수 있습니다. 기본 URL을 https://api.abliteratedllm.dev/v1 주소로 설정하고 API 키를 사용하세요. chat completions와 상태 비저장 Responses API를 모두 사용할 수 있습니다.

자리 표시자: $API_BASE는 https://api.abliteratedllm.dev/v1, $API_ORIGIN은 https://api.abliteratedllm.dev, $YOUR_KEY는 발급받은 API 키입니다.

두 SDK 모두 OPENAI_BASE_URL과 OPENAI_API_KEY 환경 변수도 읽으므로, 기존 코드를 수정하지 않고 전환할 수 있습니다:

bash
export OPENAI_BASE_URL="$API_BASE"
export OPENAI_API_KEY="$YOUR_KEY"

Python

bash
pip install openai

Chat completions(스트리밍):

python
from openai import OpenAI

client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")

stream = client.chat.completions.create(
    model="glm-5.3-flash-abliterated",
    messages=[
        {"role": "system", "content": "You are a witty fantasy narrator."},
        {"role": "user", "content": "Describe a tavern brawl in four sentences."},
    ],
    reasoning_effort="low",
    max_tokens=1024,
    stream=True,
)
for chunk in stream:
    # Usage arrives in a final chunk whose choices list is empty.
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="", flush=True)
    if chunk.usage:
        print(f"\n\n{chunk.usage.prompt_tokens} in, {chunk.usage.completion_tokens} out")

Responses API(상태 비저장이므로 매번 전체 대화를 보내세요):

python
response = client.responses.create(
    model="glm-5.3-flash-abliterated",
    instructions="Answer in one sentence.",
    input="What is the boiling point of water at sea level in Fahrenheit?",
    reasoning={"effort": "low"},
)
print(response.output_text)

JavaScript 및 TypeScript

bash
npm install openai

Chat completions(스트리밍):

js
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "$API_BASE", apiKey: "$YOUR_KEY" });

const stream = await client.chat.completions.create({
  model: "glm-5.3-flash-abliterated",
  messages: [
    { role: "system", content: "You are a witty fantasy narrator." },
    { role: "user", content: "Describe a tavern brawl in four sentences." },
  ],
  reasoning_effort: "low",
  max_tokens: 1024,
  stream: true,
});
for await (const chunk of stream) {
  // Usage arrives in a final chunk whose choices array is empty.
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
  if (chunk.usage) console.log(`\n\n${chunk.usage.prompt_tokens} in, ${chunk.usage.completion_tokens} out`);
}

Responses API:

js
const response = await client.responses.create({
  model: "glm-5.3-flash-abliterated",
  instructions: "Answer in one sentence.",
  input: "What is the boiling point of water at sea level in Fahrenheit?",
  reasoning: { effort: "low" },
});
console.log(response.output_text);

참고 사항

  • 오류는 OpenAI 형식을 따르므로 SDK에서 평소와 같은 예외(RateLimitError, AuthenticationError 등)가 발생합니다. 각 오류의 code에는 오류 코드 중 하나가 담깁니다. 다만 90초가 지나도 실행 중인 비스트리밍 요청은 다릅니다. 상태 코드가 이미 200이므로 그 이후에 발생한 오류는 응답 본문으로 전달됩니다. 최상위 error 멤버가 있는지 확인하세요. 긴 요청을 참고하세요.
  • 재시도: SDK는 기본적으로 429와 5xx 응답을 몇 차례 재시도하며, capacity_exhausted 및 503 model_unavailable(현재 해당 모델에 처리 용량이 없음)과 함께 전송되는 Retry-After 헤더를 따릅니다. model_unavailable 장애는 몇 분간 이어질 수 있으므로, 재시도가 모두 소진되면 다른 모델로 전환하세요. 오류를 참고하세요.
  • Responses는 상태 비저장입니다: store는 항상 false이고, previous_response_id를 보내면 400 stateless_only가 반환됩니다. POST /v1/responses를 참고하세요.
  • 이미지와 동영상: 이미지 입력은 GET /v1/models의 input_modalities에 image가 포함된 모델에서, video_url(https URL만 가능)은 video가 포함된 모델에서 작동합니다. 다른 모델은 400 unsupported_content 오류로 이를 거부합니다. 오디오 및 파일 입력은 모든 모델에서 같은 방식으로 실패합니다. POST /v1/chat/completions를 참고하세요.

2026년 11월 3일에 OpenAI SDK 문서와 대조해 확인했습니다: openai-python(base_url, OPENAI_BASE_URL), openai-node(baseURL, OPENAI_BASE_URL).