Справочник APIPOST /v1/completions

POST /v1/completions

Устаревший Completions API от OpenAI. Вы отправляете необработанный prompt, и модель продолжает его без обёртки в шаблон чата. Работает любой OpenAI SDK или инструмент, если указать в нём базовый URL https://api.abliteratedllm.dev/v1. Для разговоров, инструкций, инструментов, изображений или вывода рассуждений используйте POST /v1/chat/completions.

Обозначения: $API_BASE — это https://api.abliteratedllm.dev/v1, $API_ORIGIN — https://api.abliteratedllm.dev, а $YOUR_KEY — ваш API-ключ.

Запрос

bash
curl $API_BASE/completions \
  -H "Authorization: Bearer $YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5.3-flash-abliterated",
    "prompt": "The lighthouse keeper opened the logbook and wrote:",
    "max_tokens": 256,
    "temperature": 0.8
  }'

Ответ (сокращённо):

json
{
  "id": "…",
  "object": "text_completion",
  "created": 1793700000,
  "model": "glm-5.3-flash-abliterated",
  "choices": [
    { "index": 0, "text": " Day 41. The fog came in before the gulls did…", "finish_reason": "stop" }
  ],
  "usage": {
    "prompt_tokens": 12,
    "completion_tokens": 187,
    "total_tokens": 199,
    "prompt_tokens_details": { "cached_tokens": 0 }
  }
}

Параметры

Поля, которых нет в этом списке, передаются модели без изменений. Параметры сэмплирования сначала проверяются на допустимый диапазон: значение вне диапазона завершается ошибкой 400 invalid_request до каких-либо списаний.

ПолеПримечания
modelОбязательное. Любой ID из GET /v1/models.
promptОбязательное. Строка или массив из 1–4 строк, чтобы дополнить несколько промптов одним запросом: каждый промпт получает свой вариант в порядке index. 5 и больше промптов, пустой массив или промпт из ID токенов (чисел) завершаются ошибкой 400 invalid_request. Только текст: этот эндпоинт не принимает изображения.
max_tokensБюджет вывода. По умолчанию 16384. Снижается до максимального вывода модели (max_output_tokens в GET /v1/models), а на пробных аккаунтах до 4096. Значение выше предела снижается, а не отклоняется.
streamtrue для server-sent events. Без него ответ генерируется потоком на нашей стороне и возвращается одним text_completion после завершения, поэтому запрос, прерванный по лимиту времени или из-за отключения, оплачивается по выводу, сгенерированному к этому моменту. Ответ, который выполняется дольше 90 секунд, начинается с символов новой строки и может содержать ошибку в теле со статусом 200; см. Долгие запросы.
stream_optionsinclude_usage всегда включён, поэтому потоки всегда заканчиваются фрагментом с данными об использовании.
temperatureОт 0 до 2.
top_pОт 0 до 1.
top_kОт 0 до 100.
frequency_penalty, presence_penaltyОт -2 до 2.
stopСтрока или до 4 строк.
logprobsЦелое число от 0 до 5: логарифм вероятности каждого выходного токена плюс указанное число наиболее вероятных альтернатив в формате, показанном в разделе «Logprobs» ниже. Любое другое значение, включая true, завершается ошибкой 400 invalid_request. Для булевой формы с top_logprobs используйте POST /v1/chat/completions.
echotrue помещает промпт перед сгенерированным текстом в text.
suffixТекст, который должен следовать за дополнением. Передаётся как есть; поддерживают его не все модели.
n, best_ofТолько 1 (по умолчанию). Любое другое значение завершается ошибкой 400 invalid_request; чтобы дополнить несколько промптов сразу, отправьте их массивом в prompt.
service_tier"priority" выполняет запрос на приоритетном уровне модели, если он у неё есть, по её приоритетным ценам (pricing.priority в GET /v1/models). На модели без такого уровня запрос завершается ошибкой 400 invalid_request. Любое другое значение игнорируется. Уровень описан на странице POST /v1/chat/completions.
context_length_exceeded_behavior"truncate" (по умолчанию) или "error". См. «Длина контекста» ниже.
seed, userПередаются как есть.

Потоковая передача

С "stream": true ответ представляет собой поток строк data:. Заголовки отправляются, как только модель принимает запрос. До прихода первого токена в потоке каждые 15 секунд идёт строка комментария SSE, : ping, чтобы прокси не закрывали простаивающее соединение. SSE-клиенты и OpenAI SDK игнорируют строки комментариев.

text
: ping

data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":" Day","logprobs":null,"finish_reason":null}]}

data: {"id":"…","object":"text_completion","choices":[{"index":0,"text":"","logprobs":null,"finish_reason":"stop"}]}

data: {"id":"…","object":"text_completion","choices":[],"usage":{"prompt_tokens":12,"completion_tokens":187,"total_tokens":199,"prompt_tokens_details":{"cached_tokens":0}}}

data: [DONE]

Каждый фрагмент несёт следующую часть text для одного варианта, finish_reason приходит в отдельном фрагменте, а данные об использовании всегда приходят в последнем фрагменте с пустым массивом choices. Прежде чем читать choices[0], проверьте, что choices не пуст:

python
from openai import OpenAI

client = OpenAI(base_url="$API_BASE", api_key="$YOUR_KEY")

stream = client.completions.create(
    model="glm-5.3-flash-abliterated",
    prompt="The lighthouse keeper opened the logbook and wrote:",
    max_tokens=256,
    stream=True,
)
for chunk in stream:
    if chunk.choices:
        print(chunk.choices[0].text, end="")
    if chunk.usage:
        print("\n", chunk.usage)

Если prompt — массив, каждый фрагмент относится к варианту, указанному в его choices[].index, а у фрагментов для разных промптов могут быть разные значения id.

Logprobs

Целочисленный logprobs возвращает в каждом варианте устаревший формат: параллельные массивы с одним элементом на каждый выходной токен.

json
{
  "tokens": [" Day", " 41"],
  "token_logprobs": [-0.21, -1.73],
  "top_logprobs": [{ " Day": -0.21, " The": -2.05 }, { " 41": -1.73, " 12": -1.94 }],
  "text_offset": [51, 55]
}

При потоковой передаче каждый фрагмент содержит элементы для своих токенов. Непотоковый ответ объединяет их по вариантам.

Длина контекста

Промпт вместе с бюджетом вывода должен помещаться в контекстное окно модели (context_length в GET /v1/models). При значении по умолчанию "context_length_exceeded_behavior": "truncate" бюджет вывода уменьшается до места, оставшегося после промпта; при "error" такой запрос завершается ошибкой 400 invalid_request. Промпт, который сам по себе длиннее контекстного окна, всегда завершается ошибкой и никогда не обрезается.

Кэширование промптов

Кэширование работает автоматически, как и в Chat Completions: если промпт начинается с тех же токенов, что и недавний, эти токены читаются из кэша и тарифицируются по цене кэшированного ввода. Сколько их было, показывает usage.prompt_tokens_details.cached_tokens.

Тарификация

prompt_tokens включает кэшированные токены, которые тарифицируются по цене кэшированного ввода:

text
cost = (prompt_tokens - cached_tokens) × input price
     + cached_tokens × cached-input price
     + completion_tokens × output price

Цены указаны за 1 млн токенов, а итоговая стоимость использования по запросу округляется вверх один раз, до $0.000001. С "service_tier": "priority" вместо стандартных цен модели действуют её приоритетные цены. Актуальные цены указаны на странице GET /v1/models; там же описаны резервирование, прерванные потоки и неудачные запросы.

Ошибки

Ошибки возвращаются в формате OpenAI, {"error": {"type", "code", "message"}}. Коды перечислены на странице Ошибки. Каждый ответ содержит x-request-id.