연동Anthropic SDK

Anthropic SDK

공식 Anthropic SDK는 Messages 엔드포인트에서 수정 없이 그대로 작동합니다. 기본 URL은 /v1 없이 https://api.abliteratedllm.dev 주소로 설정하세요. SDK가 /v1/messages를 직접 붙입니다. SDK는 키를 x-api-key 헤더로 보내며, 이 헤더도 지원됩니다.

자리 표시자: $API_BASE는 https://api.abliteratedllm.dev/v1, $API_ORIGIN은 https://api.abliteratedllm.dev, $YOUR_KEY는 발급받은 API 키입니다.

두 SDK 모두 ANTHROPIC_BASE_URL과 ANTHROPIC_API_KEY 환경 변수도 읽습니다:

bash
export ANTHROPIC_BASE_URL="$API_ORIGIN"
export ANTHROPIC_API_KEY="$YOUR_KEY"

Python

bash
pip install anthropic
python
import anthropic

client = anthropic.Anthropic(base_url="$API_ORIGIN", api_key="$YOUR_KEY")

message = client.messages.create(
    model="glm-5.3-flash-abliterated",
    max_tokens=1024,
    system="You are a hard-boiled detective.",
    messages=[{"role": "user", "content": "Introduce yourself in three sentences."}],
)
print(message.content[0].text)
print(message.usage)

사고(thinking)를 활성화한 스트리밍:

python
with client.messages.stream(
    model="glm-5.3-flash-abliterated",
    max_tokens=8192,
    thinking={"type": "enabled", "budget_tokens": 4096},
    messages=[{"role": "user", "content": "Plot a three-act heist story."}],
) as stream:
    for text in stream.text_stream:
        print(text, end="", flush=True)
    print("\n", stream.get_final_message().usage)

TypeScript 및 JavaScript

bash
npm install @anthropic-ai/sdk
ts
import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic({ baseURL: "$API_ORIGIN", apiKey: "$YOUR_KEY" });

const message = await client.messages.create({
  model: "glm-5.3-flash-abliterated",
  max_tokens: 1024,
  system: "You are a hard-boiled detective.",
  messages: [{ role: "user", content: "Introduce yourself in three sentences." }],
});
console.log(message.content);
console.log(message.usage);

스트리밍:

ts
const stream = client.messages.stream({
  model: "glm-5.3-flash-abliterated",
  max_tokens: 2048,
  messages: [{ role: "user", content: "Plot a three-act heist story." }],
});
stream.on("text", (text) => process.stdout.write(text));
const final = await stream.finalMessage();
console.log("\n", final.usage);

참고 사항

  • max_tokens는 필수입니다(Anthropic API와 동일). 체험 계정은 4096으로 제한됩니다.
  • 사고(thinking): 사고 예산이 토큰 1024~4999개이면 낮음(low), 5000~9999개이면 중간(medium), 10000개 이상이면 높음(high) 강도로 실행됩니다. budget_tokens는 max_tokens보다 작아야 합니다. POST /v1/messages를 참고하세요.
  • 사용량: input_tokens에는 캐시 읽기가 포함되지 않습니다. 캐시 읽기는 cache_read_input_tokens로 보고되며 캐시 입력 가격으로 과금됩니다.
  • 오류는 Anthropic 형식을 따르므로 SDK에서 평소와 같은 예외가 발생합니다. 상태 코드와 오류 코드는 오류 페이지에 있습니다. 다만 90초가 지나도 실행 중인 비스트리밍 요청은 다릅니다. 상태 코드가 이미 200이므로 그 이후에 발생한 오류는 응답 본문으로 전달됩니다. 최상위 error 멤버가 있는지 확인하세요. 긴 요청을 참고하세요.
  • 사용할 수 없는 기능: 토큰 수 계산(messages.count_tokens), 메시지 배치, Anthropic의 서버 측 도구.
  • 이미지: 이미지 블록은 GET /v1/models의 input_modalities에 image가 포함된 모델에서 작동합니다. 다른 모델은 400 unsupported_content 오류로 이를 거부하며, 문서 블록은 모든 모델에서 같은 방식으로 실패합니다. POST /v1/messages를 참고하세요.

2026년 11월 3일에 Anthropic SDK 문서와 대조해 확인했습니다: anthropic-sdk-python(base_url, ANTHROPIC_BASE_URL), anthropic-sdk-typescript(baseURL, ANTHROPIC_BASE_URL).