API 레퍼런스POST /v1/chat/completions

POST /v1/chat/completions

OpenAI Chat Completions API입니다. 기본 URL을 https://api.abliteratedllm.dev/v1 주소로 지정하면 모든 OpenAI SDK와 도구가 동작합니다.

자리 표시자: $API_BASE는 https://api.abliteratedllm.dev/v1, $API_ORIGIN은 https://api.abliteratedllm.dev, $YOUR_KEY는 발급받은 API 키입니다.

요청

bash
curl $API_BASE/chat/completions \
  -H "Authorization: Bearer $YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5.3-flash-abliterated",
    "messages": [
      {"role": "system", "content": "You are a noir novelist."},
      {"role": "user", "content": "Open chapter one in three sentences."}
    ],
    "reasoning_effort": "low",
    "max_tokens": 2048,
    "temperature": 0.8
  }'

응답(일부 생략):

json
{
  "id": "…",
  "object": "chat.completion",
  "choices": [
    {
      "index": 0,
      "message": { "role": "assistant", "content": "Rain hit the window like it owed me money…" },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 31,
    "completion_tokens": 212,
    "total_tokens": 243,
    "prompt_tokens_details": { "cached_tokens": 0 }
  }
}

매개변수

여기 없는 필드는 그대로 모델에 전달되므로 표준 OpenAI 매개변수를 사용할 수 있습니다. 샘플링 매개변수는 먼저 범위를 검사합니다. 범위를 벗어난 값은 비용이 청구되기 전에 400 invalid_request 오류로 실패합니다.

필드설명
model필수. GET /v1/models의 모든 ID를 사용할 수 있으며, 현재는 abliterated: glm-5.3-flash-abliterated 또는 glm-5.3-cyber-abliterated; 원본 모델: deepseek-v4.1-flash-1017, deepseek-v4.1-flash-1017-ultrafast, deepseek-v4.1-flash-original, glm-5.3-flash, glm-5.3, glm-5.3-fast, kimi-k3, kimi-k3.1-pro, kimi-k3-fast, ember-1, muse-spark-open, qwen3.8-max, qwen3.8-2.4t-a95b 또는 minimax-m3입니다.
messages필수. 모든 모델에서 텍스트를 지원하며, 이미지 부분과 동영상 부분은 각각 해당 입력을 받는 모델에서 넣을 수 있습니다(아래 이미지 및 동영상 참고).
max_tokens 또는 max_completion_tokens출력 예산. 기본값 16384. 모델의 최대 출력(GET /v1/models의 max_output_tokens)으로 낮춰지며, 체험 계정에서는 4096으로 낮춰집니다. 한도를 넘는 값은 거부되지 않고 낮춰집니다.
reasoning_effort그대로 전달됩니다. "low", "medium", "high"로 모델이 답하기 전에 얼마나 추론할지 정합니다. 일부 모델은 추론을 끄는 "none"도 지원합니다.
streamtrue로 설정하면 서버 전송 이벤트(SSE)로 받습니다. 설정하지 않으면 당사 측에서 스트림으로 답변을 생성한 뒤 끝나면 하나의 chat.completion으로 반환하므로, 시간 제한이나 연결 끊김으로 중단된 요청은 그때까지 생성된 출력에 대해 과금됩니다. 90초가 지나도 실행 중인 응답은 줄바꿈으로 시작하며 200 본문에 오류를 담을 수 있습니다. 긴 요청을 참고하세요.
stream_optionsinclude_usage가 항상 켜져 있으므로 스트림은 항상 사용량 청크로 끝납니다.
temperature0~2.
top_p0~1.
top_k0~100.
frequency_penalty, presence_penalty-2~2.
stop문자열 하나 또는 최대 4개의 문자열.
tools, tool_choice, parallel_tool_callsOpenAI API와 같은 함수 도구. type이 "function"이 아닌 도구는 400 invalid_request 오류로 실패합니다.
n1(기본값)만 허용됩니다. 다른 값은 400 invalid_request 오류로 실패하므로, 샘플이 더 필요하면 요청을 따로 보내세요.
logprobs, top_logprobs"logprobs": true를 보내면 choices[].logprobs에 각 출력 토큰의 로그 확률이 반환되며, top_logprobs(0~5)를 지정하면 토큰마다 그 수만큼 대안이 추가됩니다. 여기서 logprobs는 불리언이어야 하며, 정수를 보내면 400 invalid_request 오류로 실패합니다(정수 형식은 POST /v1/completions용입니다).
service_tier"priority"는 우선 처리 등급이 있는 모델에서 요청을 우선 처리 등급으로 실행합니다(아래 우선 처리 등급 참고). 다른 값은 무시되며 요청은 일반 등급으로 실행됩니다. service_tier가 없으면 serviceTier(일부 AI SDK 기반 클라이언트가 보내는 camelCase 형식)도 별칭으로 허용됩니다.
context_length_exceeded_behavior"truncate"(기본값) 또는 "error". 아래 컨텍스트 길이를 참고하세요.
response_format구조화된 출력. {"type": "json_object"}는 모든 모델에서 동작하고, {"type": "json_schema", "json_schema": {...}}(strict)도 모든 모델에서 동작합니다.
prompt_cache_key그대로 전달됩니다. 같은 키를 공유하는 요청은 함께 라우팅되어 프롬프트 캐시 적중률이 높아집니다.
user그대로 전달됩니다.

스트리밍

"stream": true를 지정하면 응답은 data: 줄의 스트림으로 전송됩니다. 헤더는 모델이 요청을 수락하는 즉시 전송됩니다. 첫 토큰이 도착하기 전까지 스트림에는 15초마다 SSE 주석 줄 : ping이 전송되어 프록시가 유휴 연결을 닫지 않도록 합니다. SSE 클라이언트와 OpenAI SDK는 주석 줄을 무시합니다.

text
: ping

data: {"id":"…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":"Rain"}}]}

data: {"id":"…","object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: {"id":"…","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":31,"completion_tokens":212,"total_tokens":243,"prompt_tokens_details":{"cached_tokens":0}}}

data: [DONE]

사용량은 항상 별도의 마지막 청크로 전달되며, 이 청크의 choices 배열은 비어 있습니다. choices[0] 값을 읽기 전에 choices 배열이 비어 있지 않은지 확인하세요.

python
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].delta.content or "", end="")
    if chunk.usage:
        print("\n", chunk.usage)

추론

glm-5.3-flash-abliterated처럼 답하기 전에 추론하는 모델은 reasoning_effort로 추론량을 정합니다. 모델의 추론 여부는 GET /v1/models의 capabilities.reasoning 값으로 알 수 있습니다. 모델이 추론 내용을 반환하면 reasoning_content로 전달됩니다. 일반 응답에서는 choices[0].message에, 스트리밍 중에는 choices[0].delta에 담깁니다. 추론 토큰은 출력 토큰입니다. 출력 예산에 포함되며 출력 가격으로 과금됩니다. glm-5.3-cyber-abliterated의 채팅 템플릿은 "low"와 "high"만 따릅니다. "medium"은 최대 추론량으로 실행되며, 추론을 끌 수 없습니다.

이미지 및 동영상

각 모델이 받는 입력은 GET /v1/models의 input_modalities와 해당 페이지 모델 표의 입력 유형 열에 나와 있습니다. 이미지 지원 여부는 모델 유형(variant)이 아니라 모델별로 정해집니다. glm-5.3-flash-abliterated에는 "image"가 포함되어 있어 네이티브 이미지를 받지만, 같은 abliterated 모델인 glm-5.3-cyber-abliterated는 텍스트만 받습니다.

  • "image"가 있는 모델은 image_url 부분을 받습니다.
  • "video"가 있는 모델은 video_url 부분도 받습니다.
  • "image"와 "video"가 모두 없는 모델은 텍스트 전용입니다. 해당 모달리티를 지원하지 않는 모델에 이미지나 동영상 부분을 보내면 비용이 청구되기 전에 400 unsupported_content 오류로 실패합니다.

이미지와 동영상은 검사하지 않습니다. 자동 안전 검사는 요청의 텍스트만 읽으므로 이미지와 동영상은 검사 없이 모델에 전달됩니다. 이용 정책은 이미지와 동영상을 포함해 보내는 모든 내용에 적용됩니다. 요청의 나머지 부분과 마찬가지로 이미지와 동영상도 저장되지 않습니다.

이미지는 image_url 부분으로 보내며, url 값은 base64 data: URL이거나 모델이 내려받는 https://(또는 http://) URL이어야 합니다. 그 밖의 URL은 400 unsupported_content 오류로 실패합니다. JPEG, PNG, GIF, WebP 이미지를 지원합니다. 텍스트와 이미지 부분을 같은 메시지에 넣으세요.

json
{
  "model": "glm-5.3-flash-abliterated",
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What is in this picture?" },
        { "type": "image_url", "image_url": { "url": "data:image/jpeg;base64,/9j/4AAQSkZJRg…" } }
      ]
    }
  ]
}

동영상은 https:// URL을 담은 video_url 부분으로 보냅니다. base64 동영상은 400 unsupported_content 오류로 실패합니다.

json
{ "type": "video_url", "video_url": { "url": "https://example.com/clip.mp4" } }

제한:

  • base64 이미지는 요청당 합계 10 MB 미만이어야 하며, 전체 요청 본문은 16 MiB 미만이어야 합니다(더 큰 본문은 413 오류로 실패).
  • 이미지나 동영상 URL은 공개적으로 접근할 수 있고 빠르게 내려받을 수 있어야 합니다. 약 1.5초보다 오래 걸리는 URL이나 URL로 보낸 5 MB 초과 이미지가 있으면 요청이 실패합니다. 이런 이미지는 base64로 보내세요.
  • 요청 하나에는 대화의 이전 턴에 포함된 이미지를 합쳐 최대 120개의 이미지를 담을 수 있습니다.
  • 읽을 수 없는 이미지나 이 제한을 넘는 이미지처럼 모델이 처리할 수 없는 요청은 400 invalid_request 오류로 실패합니다.
  • input_audio 같은 오디오 부분과 파일 부분(file, input_file)은 모든 모델에서 400 unsupported_content 오류로 실패합니다.
  • 여러 단계로 깊게 중첩된 콘텐츠(부분 안의 부분)는 400 invalid_request 오류로 실패합니다.

이미지와 동영상은 입력 토큰으로 입력 가격에 과금되며, usage.prompt_tokens에 포함됩니다. 이미지가 차지하는 토큰 수는 모델과 이미지 크기에 따라 다릅니다. 요청이 실행되는 동안 임시 차감에서는 각 이미지와 동영상을 픽셀 크기에 따른 추정치나 고정 할당량으로 계산하며, 자세한 내용은 속도 제한 및 체험에 나와 있습니다.

우선 처리 등급

우선 처리 등급이 있는 모델은 GET /v1/models의 capabilities.priority_tier와 pricing.priority로 확인할 수 있으며, "service_tier": "priority"를 받습니다. 모델이 혼잡할 때 우선 처리 요청은 일반 요청보다 먼저 처리되므로 대기 시간이 짧고 capacity_exhausted로 끝날 가능성도 낮습니다. 다만 용량이 보장되지는 않습니다.

bash
curl $API_BASE/chat/completions \
  -H "Authorization: Bearer $YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-v4.1-flash-1017",
    "service_tier": "priority",
    "messages": [{"role": "user", "content": "Summarize the plot of Hamlet in one sentence."}],
    "max_tokens": 1024
  }'
  • 우선 처리 요청은 모델의 우선 처리 가격(pricing.priority)으로 과금됩니다. 우선 처리 가격은 입력, 캐시 입력, 출력 모두 일반 가격의 일정 비율(모델에 따라 125% 또는 150%)입니다. 임시 차감에도 우선 처리 가격이 적용됩니다.
  • 우선 처리 등급이 없는 모델에서 "service_tier": "priority"를 보내면 비용이 청구되기 전에 400 invalid_request 오류로 실패합니다.
  • 우선 처리 등급은 POST /v1/messages와 POST /v1/completions에서도 사용할 수 있습니다. POST /v1/responses는 service_tier를 무시하며 항상 일반 등급으로 실행되고 과금됩니다.

컨텍스트 길이

프롬프트와 출력 예산의 합은 모델의 컨텍스트 윈도우(GET /v1/models의 context_length)에 들어가야 합니다. 들어가지 않을 때의 동작은 context_length_exceeded_behavior로 정합니다.

  • "truncate"(기본값): 출력 예산이 컨텍스트 윈도우에서 프롬프트를 넣고 남은 공간만큼으로 줄어듭니다. 프롬프트 자체는 잘리지 않습니다.
  • "error": 대신 요청이 400 invalid_request 오류로 실패합니다.

프롬프트만으로 컨텍스트 윈도우보다 길면 항상 400 invalid_request 오류로 실패합니다.

프롬프트 캐싱

캐싱은 자동입니다. 요청이 최근 요청과 같은 토큰으로 시작하면 해당 토큰은 캐시에서 읽히고 더 저렴한 캐시 입력 가격으로 과금됩니다. 그 토큰 수는 usage.prompt_tokens_details.cached_tokens에 표시됩니다. 긴 대화나 에이전트 세션의 적중률을 높이려면 해당 세션의 모든 요청에 같은 prompt_cache_key를 보내세요. 공통 접두사가 있는 요청을 많이 보내는 클라이언트라면 이 방법을 권장합니다.

과금

text
cost = (prompt_tokens - cached_tokens) × input price
     + cached_tokens × cached-input price
     + completion_tokens × output price

가격은 100만 토큰당 가격이며, 요청별 최종 사용 비용 합계는 $0.000001 단위로 한 번 올림합니다. "service_tier": "priority"를 사용하면 일반 가격 대신 모델의 우선 처리 가격이 적용됩니다. 현재 가격은 GET /v1/models에 나와 있으며, 이 페이지에서 임시 차감, 중단된 스트림, 실패한 요청의 과금 방식도 설명합니다.

헤더

Claude Code의 세션 헤더인 X-Claude-Code-Session-Id는 캐시 친화성(cache affinity)에 사용되며, 그 밖의 클라이언트 헤더는 모두 제거됩니다. 모든 응답에는 x-request-id가 포함됩니다.

오류

오류는 OpenAI 형식({"error": {"type", "code", "message"}})을 사용합니다. 오류 코드는 오류 페이지에 있습니다.