速率限制与试用
限制用于保护共享容量。限制检查在任何扣费之前进行,因此被限制的请求不产生费用。登录后,限制页面会显示你账户的各项限制,以及正在运行的请求数和本分钟请求数的实时计数。
请求限制
| 付费账户 | 试用账户 | |
|---|---|---|
| 每个密钥每分钟请求数 | 每个 API 密钥 600 次 | 每个 API 密钥 10 次 |
| 每个账户每分钟请求数 | 所有密钥合计 1,200 次 | 所有密钥合计 20 次 |
| 并发请求 | 每个账户 64 个 | 每个账户 1 个 |
| 每个账户每分钟被拒请求数 | 30 | 30 |
| 请求体大小 | 16 MiB | 16 MiB |
| 单个请求时长 | 10 分钟 | 10 分钟 |
| 单个请求的最大输出 token 数 | 模型在 GET /v1/models 中的 max_output_tokens | 4096 |
| 模型满载时的重试 | 最长 30 秒 | 无 |
| 每小时从同一网络发送请求的账户数 | 不限 | 每个 IPv4 /24 或 IPv6 /48 最多 2 个,每个 IPv6 /32 最多 6 个 |
- 每分钟请求数按固定的 60 秒窗口统计,分别按密钥和按账户计数。超过任一限制都会返回 429
rate_limit_exceeded,并附带Retry-After响应头,给出距窗口重置的秒数。如果某个密钥的自定义限制高于 1,200,账户限制也会相应提高。 - 并发请求按账户统计,涵盖其所有密钥,从请求头到达(请求体上传之前)开始计算,直到响应结束。超出限制时返回 429
rate_limit_exceeded,不会读取请求体。等你正在运行的某个请求结束后再重试。 - 被拒请求指被安全检查拦截的请求(400
content_policy_violation),以及通过安全检查后被模型拒绝的请求(4xx,例如参数无效或提示词超出上下文长度)或在转发前被客户端放弃的请求。它们不产生费用;但一分钟内累计 30 个后,该账户的请求会以 429rate_limit_exceeded失败并附带Retry-After响应头,直到窗口重置。应修复失败的请求,而不是反复重试。 - 超过 16 MiB 的请求体在读取前即以 413
invalid_request失败。 - 请求体必须持续到达:20 秒内未收到任何数据,或 2 分钟内未完成上传,都会以 408
invalid_request失败。 - 单个账户最多可占用网关在途请求体预算的四分之一(同一时间 16 MiB 的请求体)。超出后,该账户自己的新请求会以 429
rate_limit_exceeded失败并附带Retry-After,直到其中某个请求结束;其他账户不受影响。 - 请求在 10 分钟后停止,其中包括你的客户端未读取数据的时间。模型开始回答后,如果模型连续 2 分钟没有发送任何内容,请求也会停止;等待首个 token 的时间会随提示词长度增加,只受 10 分钟的限制。随后响应以错误结束。非流式请求同样有完整的 10 分钟:运行超过 90 秒仍未完成的响应会以状态码 200 发出,并以 JSON 解析器会跳过的换行符开头,此后发生的错误会出现在这个 200 响应体中(见长时间请求)。如果模型尚未生成任何输出,则不收费。否则,无论是否流式,你需要支付估算的输入加上截至当时已生成的输出(UTF-8 字节数除以 3,每个生成的 delta 至少计 1 个 token)。估算值不会超过模型的上下文长度(输入)或请求的输出预算(输出)。唯一的例外是客户端断开连接:即使没有生成任何输出,也会按估算的输入收费,并加上断开前已生成的输出。
- 经销商和其他大用量用户可以联系支持,申请按账户定制的限制,包括被拒请求限制。转售需要签订书面经销协议;见《服务条款》。
- 指定经销商账户可根据与我们签订的协议自行负责筛查;这些账户会跳过两项分类器检查。这不会取消常规的每分钟请求数(RPM)、并发、密钥消费或被拒请求限制,也不会改变用量元数据的留存。见安全筛查。
试用账户
在首笔充值到账之前,账户都是试用账户。新账户初始没有额度,可以通过单独的步骤领取一次 $0.50 免费额度:注册后立即在 /start 领取,或者在账户仍是试用账户且尚未获得试用额度时,稍后在控制台领取。充值到账后,账户即不再是试用账户,也无法再领取。
创建账户需要在浏览器中完成一项快速的工作量证明验证。领取额度时会在浏览器中运行第二项验证,它是内存密集型的,通常需要几秒钟,同时领取的人多时会更久。之后,只有网络符合条件时才会发放额度:
- 数据中心、VPN 和 Tor 地址无法获得试用额度。
- 每个 IPv4 /24 或 IPv6 /48 每 30 天限一次试用。
- 全局每日 $500 的预算限制了发放的试用额度总量。
无法获得试用额度时,你仍然可以充值并立即使用账户。如果你首笔到账的充值金额不低于 $20,可获得一次性 10% 的奖励(充值 $50,到账 $55 额度),每个网络(IPv4 /24 或 IPv6 /48)每 90 天限一次奖励。
试用账户适用上表中较低的限制。高负载时,试用账户的请求也会最先被舍弃:模型满载时,试用请求会立即以 429 capacity_exhausted 失败,而不会等待容量释放。
试用账户还按网络限制。一小时内,同一网络(一个 IPv4 /24 或 IPv6 /48)最多只能有 2 个试用账户发出 API 请求,同一 IPv6 /32 最多 6 个。其他试用账户发出的请求会以 429 rate_limit_exceeded 失败,并附带 Retry-After 响应头,给出距名额释放的秒数。已占有名额的账户始终会被放行,且它的每个请求都会让名额再保留一小时,因此名额会在该账户从该网络发出最后一个请求一小时后释放。付费账户从不以这种方式计数或限制。为执行此限制,我们只保留网络前缀的带密钥哈希以及从该网络见到的试用账户 ID,保留至该网络最后一个试用请求之后一小时;见隐私。
首笔充值到账后,所有试用限制立即解除。
输出预算
每个请求都有输出预算,即它最多可生成的 token 数:
/v1/chat/completions:max_tokens或max_completion_tokens,默认 16384。/v1/messages:max_tokens,必填。/v1/responses:max_output_tokens,默认 16384。/v1/completions:max_tokens,默认 16384。
超过模型最大输出的预算,或在试用账户上超过 4096 的预算,会被降到该上限,而不是被拒绝。推理 token 计入预算。
余额预扣
请求转发之前,我们会预扣它可能产生的最高费用:估算的输入 token 按输入价格计,加上完整的输出预算(不少于 256 个 token)按输出价格计。响应结束后,预扣会被释放,只按实际用量收费。
-
输入估算:请求中消息、系统提示词或指令、工具和提示词的 UTF-8 字节数除以 3;其中每个图像和视频部分只按其类型名计入,其 token 数另行估算:
- 可从文件头读出像素尺寸的 base64 图像(PNG、JPEG、GIF、WebP 或 BMP):每个 28 × 28 像素的图块计 1 个 token,向上取整,最多 16,384 个 token;
- 图像 URL,或无法读出尺寸的 base64 图像:16,384 个 token;
- 视频:65,536 个 token。
总数以模型的上下文长度为上限。
-
输出:输出预算;当
/v1/completions的prompt是最多含 4 个元素的数组时,再乘以提示词个数。 -
优先级:
"service_tier": "priority"请求按模型的优先级价格预扣。
即使 context_length_exceeded_behavior 降低了模型可生成的量,预扣的输出仍是完整预算;实际仍只按模型报告的用量收费。
如果余额不足以覆盖预扣,我们会把(每个提示词的)输出预算降到你的余额能负担的最大值并再试一次,前提是该值至少为 256 个 token。低于此值时,请求会以 402 insufficient_balance 失败,即使请求本身要求的 token 少于 256 个也是如此。因此,余额接近耗尽时,回答可能更短,并以长度原因(length)结束。如需完整长度,设置更小的预算或充值。
消费上限
每个 API 密钥都可以在 API 密钥中设置每日上限、每月上限和累计预算。日和月均按 UTC 计算。当请求的预扣加上该密钥当日、当月或累计的已结算消费,以及其仍在运行的请求的预扣,将超过上限时,请求会以 402 key_spend_cap_reached 失败。因此并行请求不会突破上限,已开始的响应也绝不会因上限而被中断。GET /v1/balance 会报告每项上限的剩余额度。
满载
当某个模型的所有副本都繁忙时,付费请求会等待而不是直接失败。我们以退避方式重试,两次尝试之间的间隔从 250 ms 开始逐次翻倍,最长 4 秒,总共最多重试 30 秒。如果容量仍未释放,请求会以 429 capacity_exhausted 失败并附带 Retry-After: 5。不产生任何费用。
重试只发生在响应开始之前。模型一旦开始回答,响应会在上述时间限制内一直流式输出到结束。试用请求不会重试。
当某个模型完全没有服务容量时(例如正在更换其 GPU),它的请求不会重试:无论试用还是付费账户,都会立即以 503 model_unavailable 失败,没有 30 秒的等待。我们每 15 秒至多重新检查一次该模型,Retry-After 给出距下次检查的秒数。不产生任何费用,这类失败也不计入被拒请求限制。这种中断可能持续几分钟;如果持续存在,换用其他模型。
在有优先级档位的模型上,模型繁忙时,"service_tier": "priority" 请求会先于标准请求得到处理,因此等待更少,以 capacity_exhausted 失败的情况也更少。它们按模型的优先级价格计费;见 POST /v1/chat/completions。
因更新而重启时,已在运行的请求会获得一段时间来完成。在此期间,API 仍接受连接,但会立即以 503 capacity_exhausted 和 Retry-After: 5 响应每个新请求,且不产生任何费用。当 API 短时间内同时持有过多请求数据时,新请求也会收到同样的响应。这段时间结束时仍在运行的请求会被停止:流式请求以错误事件结束,非流式请求以 503 upstream_error 和 Retry-After: 5 失败(如果已运行 90 秒,则在其 200 响应体中收到该错误,不带 Retry-After);两者的计费方式都与因时间限制而停止的请求相同:模型尚未生成任何输出则不收费,否则收取估算的输入加上截至当时已生成的输出。在 Retry-After 秒后重试;如果错误出现在 200 响应体中,则使用指数退避重试。
上下文长度
提示词加上输出预算必须能放进模型的上下文窗口。默认情况下("context_length_exceeded_behavior": "truncate"),放不下的输出预算会被降到提示词剩余的空间;发送 "error" 则会改为返回 400 invalid_request。提示词本身就超过上下文窗口时,请求总会以 400 invalid_request 失败,提示词绝不会被截断。各模型的上下文大小见 GET /v1/models。