Начало работыЛимиты запросов и пробный доступ

Лимиты запросов и пробный доступ

Лимиты защищают общие мощности. Они проверяются до каких-либо списаний, поэтому запрос, отклонённый по лимиту, ничего не стоит. После входа на странице Лимиты видны лимиты вашего аккаунта, а также текущее число выполняющихся запросов и запросов за эту минуту.

Лимиты запросов

Платные аккаунтыПробные аккаунты
Запросов в минуту на ключ600 на API-ключ10 на API-ключ
Запросов в минуту на аккаунт1 200 на все ключи20 на все ключи
Параллельные запросы64 на аккаунт1 на аккаунт
Отклонённых запросов в минуту на аккаунт3030
Размер тела запроса16 MiB16 MiB
Время на запрос10 минут10 минут
Макс. выходных токенов на запросmax_output_tokens модели из GET /v1/models4096
Повторы при перегрузке моделейДо 30 секундНет
Аккаунтов, отправляющих запросы из одной сети, в часБез ограничений2 на IPv4 /24 или IPv6 /48, 6 на IPv6 /32
  • Запросы в минуту считаются в фиксированных 60-секундных окнах, отдельно для ключа и для аккаунта. При превышении любого из этих лимитов возвращается 429 rate_limit_exceeded с заголовком Retry-After, в котором указано число секунд до сброса окна. Индивидуальный лимит ключа выше 1 200 поднимает лимит аккаунта до того же значения.
  • Параллельные запросы считаются на аккаунт по всем его ключам: с момента получения заголовков запроса (ещё до загрузки тела) до окончания ответа. При превышении возвращается 429 rate_limit_exceeded, а тело не читается. Повторите запрос, когда завершится один из выполняющихся.
  • Отклонённые запросы — это запросы, заблокированные проверкой безопасности (400 content_policy_violation), а также запросы, которые прошли её, но затем были отклонены моделью (4xx, например из-за недопустимого параметра или промпта длиннее контекста) или брошены клиентом до передачи дальше. Они ничего не стоят; после 30 таких запросов за минуту запросы аккаунта завершаются ошибкой 429 rate_limit_exceeded с заголовком Retry-After, пока окно не сбросится. Исправьте ошибочные запросы, а не повторяйте их.
  • Тело больше 16 MiB отклоняется с 413 invalid_request ещё до чтения.
  • Тело должно поступать без остановок: если за 20 секунд ничего не получено или загрузка не завершилась за 2 минуты, запрос завершается ошибкой 408 invalid_request.
  • Один аккаунт может занимать не больше четверти бюджета шлюза на тела запросов в обработке (16 MiB тел одновременно). Сверх этого его новые запросы завершаются ошибкой 429 rate_limit_exceeded с Retry-After, пока один из них не завершится; на другие аккаунты это не влияет.
  • Запрос останавливается через 10 минут, включая время, когда ваш клиент не читает ответ. Когда модель уже начала отвечать, запрос также останавливается, если модель ничего не присылает 2 минуты; ожидание первого токена, которое растёт с длиной промпта, ограничено только этими 10 минутами. После этого ответ завершается ошибкой. Непотоковые запросы тоже получают все 10 минут: ответ, который выполняется дольше 90 секунд, отправляется со статусом 200 и начинается с символов новой строки, которые JSON-парсеры пропускают, а ошибка после этого момента приходит в его теле со статусом 200 (см. Долгие запросы). Если модель ещё ничего не сгенерировала, ничего не списывается. Иначе оплачивается оценка входных токенов плюс вывод, сгенерированный к этому моменту, независимо от того, был ли он передан клиенту (байты UTF-8, делённые на 3, но не меньше одного токена на каждую сгенерированную дельту). Оценка никогда не превышает длину контекста модели для ввода и бюджет вывода запроса для вывода. Единственное исключение — отключение вашего клиента: оно оплачивается по оценке входных токенов, даже если вывода не было, плюс весь вывод, сгенерированный до отключения.
  • Реселлеры и другие пользователи с большим объёмом запросов могут попросить у поддержки индивидуальные лимиты для аккаунта, в том числе лимит отклонённых запросов. Для перепродажи нужен письменный договор с реселлером; см. условия использования.
  • Назначенные аккаунты реселлеров могут по договору с нами взять проверку запросов на себя; для таких аккаунтов обе проверки классификаторами пропускаются. Это не снимает обычные лимиты на запросы в минуту, параллельные запросы, расходы ключей и отклонённые запросы и не меняет срок хранения метаданных использования. См. Проверка безопасности.

Пробные аккаунты

Аккаунт остаётся пробным, пока не зачислено его первое пополнение. У нового аккаунта баланс нулевой, и один раз он может получить $0.50 бесплатных средств отдельным шагом: сразу после регистрации на /start или позже в личном кабинете, пока он ещё пробный и не получал пробных средств. После зачисления пополнения аккаунт перестаёт быть пробным и получить пробные средства уже не может.

При создании аккаунта браузер проходит быструю проверку proof-of-work. При получении средств запускается вторая проверка, требовательная к памяти, тоже в браузере. Обычно она занимает несколько секунд, а когда пробные средства получают многие, дольше. Затем средства начисляются, если сеть подходит:

  • Адреса дата-центров, VPN и Tor пробных средств не получают.
  • Один пробный доступ на IPv4 /24 или IPv6 /48 раз в 30 дней.
  • Общий дневной бюджет в $500 ограничивает объём выдаваемых пробных средств.

Если пробные средства недоступны, вы всё равно можете пополнить баланс и сразу пользоваться аккаунтом. Если первое зачисленное пополнение составляет $20 или больше, вы получаете на него разовый бонус 10 % (пополните на $50 и получите $55 на баланс), не больше одного бонуса на сеть (IPv4 /24 или IPv6 /48) раз в 90 дней.

У пробных аккаунтов более низкие лимиты из таблицы выше. Кроме того, под нагрузкой они отсекаются первыми: когда модели перегружены, пробный запрос сразу завершается ошибкой 429 capacity_exhausted, а не ждёт освобождения мощностей.

Пробные аккаунты также ограничены по сетям. В течение часа API-запросы из одной сети (IPv4 /24 или IPv6 /48) могут отправлять не больше 2 пробных аккаунтов, а из одной IPv6 /32 — не больше 6. Запрос от следующего пробного аккаунта завершается ошибкой 429 rate_limit_exceeded с заголовком Retry-After, в котором указано число секунд до освобождения места. Аккаунт, который уже занимает место, пропускается всегда, и каждый его запрос сохраняет за ним место ещё на час, так что место освобождается через час после последнего запроса аккаунта из этой сети. Платные аккаунты так не учитываются и не ограничиваются. Для соблюдения лимита мы храним только хеш сетевого префикса с секретным ключом вместе с ID пробных аккаунтов, замеченных в этой сети, и только до истечения часа после последнего пробного запроса из неё; см. Конфиденциальность.

Все ограничения пробного доступа снимаются, как только зачислено ваше первое пополнение.

Бюджет вывода

У каждого запроса есть бюджет вывода — максимальное число токенов, которое он может сгенерировать:

  • /v1/chat/completions: max_tokens или max_completion_tokens, по умолчанию 16384.
  • /v1/messages: max_tokens, обязательный параметр.
  • /v1/responses: max_output_tokens, по умолчанию 16384.
  • /v1/completions: max_tokens, по умолчанию 16384.

Бюджет больше максимального вывода модели или больше 4096 на пробном аккаунте снижается до этого предела, а не отклоняется. Токены рассуждений учитываются в бюджете.

Резервирование средств

Перед передачей запроса мы резервируем максимальную сумму, которую он может стоить: оценку входных токенов по цене ввода плюс весь бюджет вывода (не меньше 256 токенов) по цене вывода. Когда ответ завершается, резерв снимается и списывается только фактическое использование.

  • Оценка ввода. Размер в байтах UTF-8 сообщений запроса, системного промпта или инструкций, инструментов и промпта, делённый на 3; при этом каждая часть с изображением или видео учитывается только по названию своего типа, а её токены оцениваются отдельно:

    • изображение в base64, размер которого в пикселях можно прочитать из заголовка (PNG, JPEG, GIF, WebP или BMP): один токен на каждый фрагмент 28 × 28 пикселей с округлением вверх, не больше 16 384 токенов;
    • URL изображения или изображение в base64, размер которого прочитать нельзя: 16 384 токена;
    • видео: 65 536 токенов.

    Итог ограничен длиной контекста модели.

  • Вывод. Бюджет вывода, умноженный на число промптов, если prompt в /v1/completions — массив (до 4 элементов).

  • Приоритет. Запрос с "service_tier": "priority" резервируется по приоритетным ценам модели.

Вывод резервируется на весь бюджет, даже если context_length_exceeded_behavior уменьшает то, что модель может сгенерировать; списывается всё равно только то, что сообщит модель.

Если резерв не помещается в баланс, мы снижаем бюджет вывода (на один промпт) до максимума, который вы можете оплатить, и пробуем ещё раз, при условии что это не меньше 256 токенов. Иначе запрос завершается ошибкой 402 insufficient_balance, даже если сам запрос просит меньше 256 токенов. Поэтому при почти пустом балансе ответы могут быть короче и останавливаться с причиной завершения по длине. Если нужна полная длина, задайте меньший бюджет или пополните баланс.

Лимиты расходов

Для каждого API-ключа можно задать дневной лимит, месячный лимит и общий бюджет в разделе API-ключи. Сутки и месяцы считаются по UTC. Запрос завершается ошибкой 402 key_spend_cap_reached, если его резерв вместе со списанными средствами ключа за сутки, месяц или весь срок и резервами его ещё выполняющихся запросов превысил бы лимит. Поэтому параллельные запросы не могут превысить лимит, а уже начавшийся ответ лимит никогда не обрывает. GET /v1/balance показывает остаток по каждому лимиту.

Перегрузка

Когда заняты все реплики модели, платные запросы ждут, а не завершаются ошибкой. Мы повторяем попытки с нарастающей задержкой: начиная с 250 ms и удваивая её до 4 секунд между попытками, в общей сложности до 30 секунд. Если мощности так и не освобождаются, запрос завершается ошибкой 429 capacity_exhausted с Retry-After: 5. Ничего не списывается.

Повторы возможны только до начала ответа. Как только модель начала отвечать, ответ передаётся до конца в рамках лимитов времени, описанных выше. Пробные запросы не повторяются.

Если у модели вообще нет мощностей для обработки, например пока заменяются её GPU, её запросы не повторяются: они сразу завершаются ошибкой 503 model_unavailable, одинаково для пробных и платных аккаунтов, без 30-секундного ожидания. Мы проверяем модель повторно не чаще одного раза в 15 секунд, а Retry-After содержит число секунд до следующей проверки. Ничего не списывается, и такие ошибки не учитываются в лимите отклонённых запросов. Такой сбой может длиться несколько минут; если он не проходит, используйте другую модель.

На моделях с приоритетным уровнем запросы с "service_tier": "priority" при загруженности модели обслуживаются раньше стандартных, поэтому меньше ждут и реже получают capacity_exhausted. Они тарифицируются по приоритетным ценам модели; см. POST /v1/chat/completions.

При перезапуске для обновления уже выполняющиеся запросы получают время на завершение. Тем временем API продолжает принимать соединения и сразу отвечает на каждый новый запрос ошибкой 503 capacity_exhausted с Retry-After: 5, до каких-либо списаний. Такой же ответ получает новый запрос, когда API ненадолго удерживает слишком много данных запросов одновременно. Запрос, который всё ещё выполняется, когда это время истекает, останавливается: поток завершается событием ошибки, а непотоковый запрос завершается ошибкой 503 upstream_error с Retry-After: 5 (или, если он уже выполнялся 90 секунд, получает эту ошибку в теле ответа со статусом 200 без Retry-After). В обоих случаях оплата такая же, как у запроса, остановленного по лимиту времени: ничего, если модель ещё ничего не сгенерировала, иначе оценка входных токенов плюс вывод, сгенерированный к этому моменту. Повторите запрос через Retry-After секунд или, если ошибка пришла в теле ответа со статусом 200, с экспоненциальной задержкой.

Длина контекста

Промпт вместе с бюджетом вывода должен помещаться в контекстное окно модели. По умолчанию ("context_length_exceeded_behavior": "truncate") бюджет вывода, который не помещается, уменьшается до места, оставшегося после промпта; передайте "error", чтобы вместо этого получить 400 invalid_request. Промпт, который сам по себе длиннее контекстного окна, всегда завершается ошибкой 400 invalid_request и никогда не обрезается. Размеры контекста указаны на странице GET /v1/models.