POST /v1/completions
Устаревший Completions API от OpenAI. Вы отправляете необработанный prompt, и модель продолжает его без обёртки в шаблон чата. Работает любой OpenAI SDK или инструмент, если указать в нём базовый URL https://api.abliteratedllm.dev/v1. Для разговоров, инструкций, инструментов, изображений или вывода рассуждений используйте POST /v1/chat/completions.
Обозначения:
$API_BASE— этоhttps://api.abliteratedllm.dev/v1,$API_ORIGIN—https://api.abliteratedllm.dev, а$YOUR_KEY— ваш API-ключ.
Запрос
curl $API_BASE/completions \
-H "Authorization: Bearer $YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "glm-5.3-flash-abliterated",
"prompt": "The lighthouse keeper opened the logbook and wrote:",
"max_tokens": 256,
"temperature": 0.8
}'Ответ (сокращённо):
{
"id": "…",
"object": "text_completion",
"created": 1793700000,
"model": "glm-5.3-flash-abliterated",
"choices": [
{ "index": 0, "text": " Day 41. The fog came in before the gulls did…", "finish_reason": "stop" }
],
"usage": {
"prompt_tokens": 12,
"completion_tokens": 187,
"total_tokens": 199,
"prompt_tokens_details": { "cached_tokens": 0 }
}
}Параметры
Поля, которых нет в этом списке, передаются модели без изменений. Параметры сэмплирования сначала проверяются на допустимый диапазон: значение вне диапазона завершается ошибкой 400 invalid_request до каких-либо списаний.
| Поле | Примечания |
|---|---|
model | Обязательное. Любой ID из GET /v1/models. |
prompt | Обязательное. Строка или массив из 1–4 строк, чтобы дополнить несколько промптов одним запросом: каждый промпт получает свой вариант в порядке index. 5 и больше промптов, пустой массив или промпт из ID токенов (чисел) завершаются ошибкой 400 invalid_request. Только текст: этот эндпоинт не принимает изображения. |
max_tokens | Бюджет вывода. По умолчанию 16384. Снижается до максимального вывода модели (max_output_tokens в GET /v1/models), а на пробных аккаунтах до 4096. Значение выше предела снижается, а не отклоняется. |
stream | true для server-sent events. Без него ответ генерируется потоком на нашей стороне и возвращается одним text_completion после завершения, поэтому запрос, прерванный по лимиту времени или из-за отключения, оплачивается по выводу, сгенерированному к этому моменту. Ответ, который выполняется дольше 90 секунд, начинается с символов новой строки и может содержать ошибку в теле со статусом 200; см. Долгие запросы. |
stream_options | include_usage всегда включён, поэтому потоки всегда заканчиваются фрагментом с данными об использовании. |
temperature | От 0 до 2. |
top_p | От 0 до 1. |
top_k | От 0 до 100. |
frequency_penalty, presence_penalty | От -2 до 2. |
stop | Строка или до 4 строк. |
logprobs | Целое число от 0 до 5: логарифм вероятности каждого выходного токена плюс указанное число наиболее вероятных альтернатив в формате, показанном в разделе «Logprobs» ниже. Любое другое значение, включая true, завершается ошибкой 400 invalid_request. Для булевой формы с top_logprobs используйте POST /v1/chat/completions. |
echo | true помещает промпт перед сгенерированным текстом в text. |
suffix | Текст, который должен следовать за дополнением. Передаётся как есть; поддерживают его не все модели. |
n, best_of | Только 1 (по умолчанию). Любое другое значение завершается ошибкой 400 invalid_request; чтобы дополнить несколько промптов сразу, отправьте их массивом в prompt. |
service_tier | "priority" выполняет запрос на приоритетном уровне модели, если он у неё есть, по её приоритетным ценам (pricing.priority в GET /v1/models). На модели без такого уровня запрос завершается ошибкой 400 invalid_request. Любое другое значение игнорируется. Уровень описан на странице POST /v1/chat/completions. |
context_length_exceeded_behavior | "truncate" (по умолчанию) или "error". См. «Длина контекста» ниже. |
seed, user | Передаются как есть. |
Потоковая передача
С "stream": true ответ представляет собой поток строк data:. Заголовки отправляются, как только модель принимает запрос. До прихода первого токена в потоке каждые 15 секунд идёт строка комментария SSE, : ping, чтобы прокси не закрывали простаивающее соединение. SSE-клиенты и OpenAI SDK игнорируют строки комментариев.
: ping
data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":" Day","logprobs":null,"finish_reason":null}]}
data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":"","logprobs":null,"finish_reason":"stop"}]}
data: {"id":"…","object":"text_completion","choices":[],"usage":{"prompt_tokens":12,"completion_tokens":187,"total_tokens":199,"prompt_tokens_details":{"cached_tokens":0}}}
data: [DONE]Каждый фрагмент несёт следующую часть text для одного варианта, finish_reason приходит в отдельном фрагменте, а данные об использовании всегда приходят в последнем фрагменте с пустым массивом choices. Прежде чем читать choices[0], проверьте, что choices не пуст:
from openai import OpenAI
client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")
stream = client.completions.create(
model="glm-5.3-flash-abliterated",
prompt="The lighthouse keeper opened the logbook and wrote:",
max_tokens=256,
stream=True,
)
for chunk in stream:
if chunk.choices:
print(chunk.choices[0].text, end="")
if chunk.usage:
print("\n", chunk.usage)Если prompt — массив, каждый фрагмент относится к варианту, указанному в его choices[].index, а у фрагментов для разных промптов могут быть разные значения id.
Logprobs
Целочисленный logprobs возвращает в каждом варианте устаревший формат: параллельные массивы с одним элементом на каждый выходной токен.
{
"tokens": [" Day", " 41"],
"token_logprobs": [-0.21, -1.73],
"top_logprobs": [{ " Day": -0.21, " The": -2.05 }, { " 41": -1.73, " 12": -1.94 }],
"text_offset": [51, 55]
}При потоковой передаче каждый фрагмент содержит элементы для своих токенов. Непотоковый ответ объединяет их по вариантам.
Длина контекста
Промпт вместе с бюджетом вывода должен помещаться в контекстное окно модели (context_length в GET /v1/models). При значении по умолчанию "context_length_exceeded_behavior": "truncate" бюджет вывода уменьшается до места, оставшегося после промпта; при "error" такой запрос завершается ошибкой 400 invalid_request. Промпт, который сам по себе длиннее контекстного окна, всегда завершается ошибкой и никогда не обрезается.
Кэширование промптов
Кэширование работает автоматически, как и в Chat Completions: если промпт начинается с тех же токенов, что и недавний, эти токены читаются из кэша и тарифицируются по цене кэшированного ввода. Сколько их было, показывает usage.prompt_tokens_details.cached_tokens.
Тарификация
prompt_tokens включает кэшированные токены, которые тарифицируются по цене кэшированного ввода:
cost = (prompt_tokens - cached_tokens) × input price
+ cached_tokens × cached-input price
+ completion_tokens × output priceЦены указаны за 1 млн токенов, а итоговая стоимость использования по запросу округляется вверх один раз, до $0.000001. С "service_tier": "priority" вместо стандартных цен модели действуют её приоритетные цены. Актуальные цены указаны на странице GET /v1/models; там же описаны резервирование, прерванные потоки и неудачные запросы.
Ошибки
Ошибки возвращаются в формате OpenAI, {"error": {"type", "code", "message"}}. Коды перечислены на странице Ошибки. Каждый ответ содержит x-request-id.