POST /v1/completions
旧版 OpenAI Completions API。你发送原始 prompt,模型直接续写,外面不套任何对话模板。把任意 OpenAI SDK 或工具的 Base URL 指向 https://api.abliteratedllm.dev/v1 即可使用。如需对话、指令、工具、图像或推理输出,改用 POST /v1/chat/completions。
占位符:
$API_BASE为https://api.abliteratedllm.dev/v1,$API_ORIGIN为https://api.abliteratedllm.dev,$YOUR_KEY为你的 API 密钥。
请求
curl $API_BASE/completions \
-H "Authorization: Bearer $YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "glm-5.3-flash-abliterated",
"prompt": "The lighthouse keeper opened the logbook and wrote:",
"max_tokens": 256,
"temperature": 0.8
}'响应(节选):
{
"id": "…",
"object": "text_completion",
"created": 1793700000,
"model": "glm-5.3-flash-abliterated",
"choices": [
{ "index": 0, "text": " Day 41. The fog came in before the gulls did…", "finish_reason": "stop" }
],
"usage": {
"prompt_tokens": 12,
"completion_tokens": 187,
"total_tokens": 199,
"prompt_tokens_details": { "cached_tokens": 0 }
}
}参数
未在此列出的字段会原样传给模型。采样参数会先做范围检查:超出范围的值会在任何扣费之前以 400 invalid_request 失败。
| 字段 | 说明 |
|---|---|
model | 必填。GET /v1/models 中的任意 ID。 |
prompt | 必填。一个字符串,或包含 1 至 4 个字符串的数组,用于在一个请求中补全多个提示词:每个提示词都有自己的 choice,按 index 排序。5 个及以上的提示词、空数组,或由 token ID(数字)组成的提示词,都会以 400 invalid_request 失败。只支持文本:此端点不接受图像输入。 |
max_tokens | 输出预算。默认 16384。会被降到模型的最大输出(GET /v1/models 中的 max_output_tokens),试用账户上则降到 4096。超过上限的值会被降低,而不是被拒绝。 |
stream | true 表示使用服务器发送事件(SSE)。不设置时,答案在我们这边以流式生成,结束后作为一个 text_completion 返回,因此因时间限制或断开连接而中断的请求,会按截至当时已生成的输出计费。运行超过 90 秒仍未完成的响应会以换行符开头,并可能在其 200 响应体中携带错误;见长时间请求。 |
stream_options | include_usage 始终开启,因此流总是以一个用量块结束。 |
temperature | 0 至 2。 |
top_p | 0 至 1。 |
top_k | 0 至 100。 |
frequency_penalty, presence_penalty | -2 至 2。 |
stop | 一个字符串,或最多 4 个字符串。 |
logprobs | 0 至 5 的整数:返回每个输出 token 的对数概率,以及相应数量的最可能候选项,格式见下文“Logprobs”。其他任何值(包括 true)都会以 400 invalid_request 失败。如需搭配 top_logprobs 的布尔形式,使用 POST /v1/chat/completions。 |
echo | true 会把提示词放在 text 中生成文本的前面。 |
suffix | 应接在补全内容之后的文本。透传;并非所有模型都支持。 |
n, best_of | 只能为 1(默认值)。其他任何值都会以 400 invalid_request 失败;要一次补全多个提示词,以 prompt 数组发送。 |
service_tier | "priority" 会让请求在模型的优先级档位上运行(如果该模型有),按其优先级价格计费(GET /v1/models 中的 pricing.priority)。在没有优先级档位的模型上会以 400 invalid_request 失败。其他任何值都会被忽略。该档位的说明见 POST /v1/chat/completions。 |
context_length_exceeded_behavior | "truncate"(默认)或 "error"。见下文“上下文长度”。 |
seed, user | 透传。 |
流式输出
设置 "stream": true 时,响应是一串 data: 行。模型接受请求后会立即发送响应头。在首个 token 到达之前,流中每 15 秒发送一行 SSE 注释 : ping,以免代理关闭空闲连接。SSE 客户端和 OpenAI SDK 会忽略注释行。
: ping
data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":" Day","logprobs":null,"finish_reason":null}]}
data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":"","logprobs":null,"finish_reason":"stop"}]}
data: {"id":"…","object":"text_completion","choices":[],"usage":{"prompt_tokens":12,"completion_tokens":187,"total_tokens":199,"prompt_tokens_details":{"cached_tokens":0}}}
data: [DONE]每个块携带某个 choice 的下一段 text,finish_reason 在单独的块中到达,用量始终在最后一个 choices 数组为空的块中到达。读取 choices[0] 之前,先检查 choices 是否为空:
from openai import OpenAI
client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")
stream = client.completions.create(
model="glm-5.3-flash-abliterated",
prompt="The lighthouse keeper opened the logbook and wrote:",
max_tokens=256,
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].text, end="")
if chunk.usage:
print("\n", chunk.usage)当 prompt 为数组时,每个块属于其 choices[].index 所指的 choice,不同提示词的块可能带有不同的 id 值。
Logprobs
整数形式的 logprobs 会在每个 choice 上返回旧版格式:几个并列的数组,每个输出 token 对应一个条目。
{
"tokens": [" Day", " 41"],
"token_logprobs": [-0.21, -1.73],
"top_logprobs": [{ " Day": -0.21, " The": -2.05 }, { " 41": -1.73, " 12": -1.94 }],
"text_offset": [51, 55]
}流式输出时,每个块携带其自身 token 的条目。非流式响应则按 choice 将它们合并。
上下文长度
提示词加上输出预算必须能放进模型的上下文窗口,即 GET /v1/models 中的 context_length。在默认的 "context_length_exceeded_behavior": "truncate" 下,输出预算会被降到提示词剩余的空间;设为 "error" 时,这类请求会以 400 invalid_request 失败。提示词本身就超过上下文窗口时总会失败,提示词绝不会被截断。
提示词缓存
与 Chat Completions 一样,缓存是自动的:当一个提示词开头的 token 与最近某个请求相同时,这些 token 会从缓存中读取,并按缓存输入价格计费。usage.prompt_tokens_details.cached_tokens 报告命中的数量。
计费
prompt_tokens 包含缓存命中 token,这部分按缓存输入价格计费:
cost = (prompt_tokens - cached_tokens) × input price
+ cached_tokens × cached-input price
+ completion_tokens × output price价格以每百万 token 计,每个请求最终的合计用量费用只向上取整一次,精确到 $0.000001。使用 "service_tier": "priority" 时,以模型的优先级价格代替标准价格。当前价格见 GET /v1/models,该页还说明了预扣、中断的流和失败请求如何计费。
错误
错误使用 OpenAI 格式 {"error": {"type", "code", "message"}}。错误码见错误页面。每个响应都带有 x-request-id。