API 参考POST /v1/completions

POST /v1/completions

旧版 OpenAI Completions API。你发送原始 prompt,模型直接续写,外面不套任何对话模板。把任意 OpenAI SDK 或工具的 Base URL 指向 https://api.abliteratedllm.dev/v1 即可使用。如需对话、指令、工具、图像或推理输出,改用 POST /v1/chat/completions。

占位符:$API_BASE 为 https://api.abliteratedllm.dev/v1,$API_ORIGIN 为 https://api.abliteratedllm.dev,$YOUR_KEY 为你的 API 密钥。

请求

bash
curl $API_BASE/completions \
  -H "Authorization: Bearer $YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5.3-flash-abliterated",
    "prompt": "The lighthouse keeper opened the logbook and wrote:",
    "max_tokens": 256,
    "temperature": 0.8
  }'

响应(节选):

json
{
  "id": "…",
  "object": "text_completion",
  "created": 1793700000,
  "model": "glm-5.3-flash-abliterated",
  "choices": [
    { "index": 0, "text": " Day 41. The fog came in before the gulls did…", "finish_reason": "stop" }
  ],
  "usage": {
    "prompt_tokens": 12,
    "completion_tokens": 187,
    "total_tokens": 199,
    "prompt_tokens_details": { "cached_tokens": 0 }
  }
}

参数

未在此列出的字段会原样传给模型。采样参数会先做范围检查:超出范围的值会在任何扣费之前以 400 invalid_request 失败。

字段说明
model必填。GET /v1/models 中的任意 ID。
prompt必填。一个字符串,或包含 1 至 4 个字符串的数组,用于在一个请求中补全多个提示词:每个提示词都有自己的 choice,按 index 排序。5 个及以上的提示词、空数组,或由 token ID(数字)组成的提示词,都会以 400 invalid_request 失败。只支持文本:此端点不接受图像输入。
max_tokens输出预算。默认 16384。会被降到模型的最大输出(GET /v1/models 中的 max_output_tokens),试用账户上则降到 4096。超过上限的值会被降低,而不是被拒绝。
streamtrue 表示使用服务器发送事件(SSE)。不设置时,答案在我们这边以流式生成,结束后作为一个 text_completion 返回,因此因时间限制或断开连接而中断的请求,会按截至当时已生成的输出计费。运行超过 90 秒仍未完成的响应会以换行符开头,并可能在其 200 响应体中携带错误;见长时间请求。
stream_optionsinclude_usage 始终开启,因此流总是以一个用量块结束。
temperature0 至 2。
top_p0 至 1。
top_k0 至 100。
frequency_penalty, presence_penalty-2 至 2。
stop一个字符串,或最多 4 个字符串。
logprobs0 至 5 的整数:返回每个输出 token 的对数概率,以及相应数量的最可能候选项,格式见下文“Logprobs”。其他任何值(包括 true)都会以 400 invalid_request 失败。如需搭配 top_logprobs 的布尔形式,使用 POST /v1/chat/completions。
echotrue 会把提示词放在 text 中生成文本的前面。
suffix应接在补全内容之后的文本。透传;并非所有模型都支持。
n, best_of只能为 1(默认值)。其他任何值都会以 400 invalid_request 失败;要一次补全多个提示词,以 prompt 数组发送。
service_tier"priority" 会让请求在模型的优先级档位上运行(如果该模型有),按其优先级价格计费(GET /v1/models 中的 pricing.priority)。在没有优先级档位的模型上会以 400 invalid_request 失败。其他任何值都会被忽略。该档位的说明见 POST /v1/chat/completions。
context_length_exceeded_behavior"truncate"(默认)或 "error"。见下文“上下文长度”。
seed, user透传。

流式输出

设置 "stream": true 时,响应是一串 data: 行。模型接受请求后会立即发送响应头。在首个 token 到达之前,流中每 15 秒发送一行 SSE 注释 : ping,以免代理关闭空闲连接。SSE 客户端和 OpenAI SDK 会忽略注释行。

text
: ping

data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":" Day","logprobs":null,"finish_reason":null}]}

data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":"","logprobs":null,"finish_reason":"stop"}]}

data: {"id":"…","object":"text_completion","choices":[],"usage":{"prompt_tokens":12,"completion_tokens":187,"total_tokens":199,"prompt_tokens_details":{"cached_tokens":0}}}

data: [DONE]

每个块携带某个 choice 的下一段 text,finish_reason 在单独的块中到达,用量始终在最后一个 choices 数组为空的块中到达。读取 choices[0] 之前,先检查 choices 是否为空:

python
from openai import OpenAI

client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")

stream = client.completions.create(
    model="glm-5.3-flash-abliterated",
    prompt="The lighthouse keeper opened the logbook and wrote:",
    max_tokens=256,
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].text, end="")
    if chunk.usage:
        print("\n", chunk.usage)

当 prompt 为数组时,每个块属于其 choices[].index 所指的 choice,不同提示词的块可能带有不同的 id 值。

Logprobs

整数形式的 logprobs 会在每个 choice 上返回旧版格式:几个并列的数组,每个输出 token 对应一个条目。

json
{
  "tokens": [" Day", " 41"],
  "token_logprobs": [-0.21, -1.73],
  "top_logprobs": [{ " Day": -0.21, " The": -2.05 }, { " 41": -1.73, " 12": -1.94 }],
  "text_offset": [51, 55]
}

流式输出时,每个块携带其自身 token 的条目。非流式响应则按 choice 将它们合并。

上下文长度

提示词加上输出预算必须能放进模型的上下文窗口,即 GET /v1/models 中的 context_length。在默认的 "context_length_exceeded_behavior": "truncate" 下,输出预算会被降到提示词剩余的空间;设为 "error" 时,这类请求会以 400 invalid_request 失败。提示词本身就超过上下文窗口时总会失败,提示词绝不会被截断。

提示词缓存

与 Chat Completions 一样,缓存是自动的:当一个提示词开头的 token 与最近某个请求相同时,这些 token 会从缓存中读取,并按缓存输入价格计费。usage.prompt_tokens_details.cached_tokens 报告命中的数量。

计费

prompt_tokens 包含缓存命中 token,这部分按缓存输入价格计费:

text
cost = (prompt_tokens - cached_tokens) × input price
     + cached_tokens × cached-input price
     + completion_tokens × output price

价格以每百万 token 计,每个请求最终的合计用量费用只向上取整一次,精确到 $0.000001。使用 "service_tier": "priority" 时,以模型的优先级价格代替标准价格。当前价格见 GET /v1/models,该页还说明了预扣、中断的流和失败请求如何计费。

错误

错误使用 OpenAI 格式 {"error": {"type", "code", "message"}}。错误码见错误页面。每个响应都带有 x-request-id。