レート制限とトライアル
制限は共有のキャパシティを守るためのものです。制限は課金より前に確認されるため、制限に引っかかったリクエストに料金はかかりません。ログイン中は、制限でアカウントの制限と、実行中のリクエスト数および直近1分間のリクエスト数をリアルタイムで確認できます。
リクエストの制限
| 有料アカウント | トライアルアカウント | |
|---|---|---|
| キーごとの1分あたりのリクエスト数 | APIキーごとに600 | APIキーごとに10 |
| アカウントごとの1分あたりのリクエスト数 | 全キー合計で1,200 | 全キー合計で20 |
| 同時リクエスト | アカウントごとに64 | アカウントごとに1 |
| アカウントごとの1分あたりの拒否されたリクエスト数 | 30 | 30 |
| リクエストボディのサイズ | 16 MiB | 16 MiB |
| リクエストあたりの時間 | 10分 | 10分 |
| リクエストあたりの最大出力トークン数 | GET /v1/modelsで示されるモデルのmax_output_tokens | 4096 |
| モデルが飽和したときのリトライ | 最大30秒 | なし |
| 1時間に1つのネットワークからリクエストを送信できるアカウント数 | 制限なし | IPv4 /24またはIPv6 /48ごとに2、IPv6 /32ごとに6 |
- 1分あたりのリクエスト数は、キーごととアカウントごとに、60秒の固定ウィンドウで数えます。どちらかを超えると429
rate_limit_exceededが返され、Retry-Afterヘッダーにウィンドウがリセットされるまでの秒数が入ります。キーごとのカスタム制限が1,200を超える場合は、アカウントの制限もそれに合わせて引き上げられます。 - 同時リクエストは、アカウントのすべてのキーを合わせてアカウント単位で数えます。対象となるのは、リクエストのヘッダーが届いた時点(ボディのアップロード前)からレスポンスが終わるまでです。超えた場合は、ボディを読み込まずに429
rate_limit_exceededを返します。実行中のリクエストのいずれかが終わってからリトライしてください。 - 拒否されたリクエストとは、安全性チェックでブロックされたリクエスト(400
content_policy_violation)と、チェックを通過したもののモデルに拒否されたリクエスト(無効なパラメーターやコンテキスト長を超えるプロンプトなどによる4xx)、または転送前にクライアントが中断したリクエストのことです。料金はかかりませんが、1分間に30件に達すると、ウィンドウがリセットされるまでそのアカウントのリクエストは429rate_limit_exceededとRetry-Afterヘッダー付きで失敗します。リトライするのではなく、失敗しているリクエストを修正してください。 - 16 MiBを超えるボディは、読み込まれる前に413
invalid_requestで失敗します。 - ボディは途切れずに届く必要があります。20秒間何も受信しない場合や、アップロードが2分以内に終わらない場合は、408
invalid_requestで失敗します。 - 1つのアカウントが占有できるのは、ゲートウェイが処理中のボディに割り当てる容量の4分の1(同時に16 MiB分のボディ)までです。これを超えると、そのアカウントの処理中のリクエストのいずれかが終わるまで、そのアカウントの新しいリクエストは429
rate_limit_exceededとRetry-After付きで失敗します。ほかのアカウントには影響しません。 - リクエストは10分で停止します。この時間には、クライアントがデータを読み取っていない時間も含まれます。モデルが回答を始めた後は、モデルが2分間何も送信しない場合にも停止します。最初のトークンまでの待ち時間はプロンプトが長いほど延びますが、これを制限するのは10分の上限だけです。停止すると、レスポンスはエラーで終わります。非ストリーミングリクエストにも10分がフルに与えられます。90秒を過ぎても実行中のレスポンスはステータス200で送信が始まり、先頭にはJSONパーサーが読み飛ばす改行が入ります。それ以降に発生したエラーは、その200のボディで届きます(長時間のリクエストを参照)。モデルがまだ何も出力を生成していなければ、料金はかかりません。それ以外の場合は、ストリーミングかどうかを問わず、推定入力と、それまでに生成された出力に対して課金されます(UTF-8のバイト数を3で割った値で、生成されたデルタごとに最低1トークン)。推定値が、入力についてはモデルのコンテキスト長を、出力についてはリクエストの出力予算を超えることはありません。唯一の例外はクライアント側の切断です。この場合、出力が生成されていなくても推定入力に対して課金され、切断前に生成された出力があればその分も課金されます。
- 再販業者やその他の大量利用者は、アカウントごとのカスタム制限(拒否されたリクエストの制限を含む)をサポートに依頼できます。再販には書面による再販契約が必要です。利用規約を参照してください。
- 指定された再販業者アカウントは、当社との契約に基づいてスクリーニングを再販業者側に委任できます。これらのアカウントでは、2つの分類器チェックがどちらも省略されます。ただし、通常のRPM、同時実行数、キーの利用額、拒否されたリクエストの各制限はそのまま適用され、利用メタデータの保持も変わりません。安全性スクリーニングを参照してください。
トライアルアカウント
アカウントは、初回のチャージが反映されるまでトライアルアカウントです。新しいアカウントのクレジットは0から始まり、別の手順で$0.50分の無料クレジットを1回だけ受け取れます。受け取れるのは、/startでの登録直後か、トライアルクレジットをまだ受け取っていないトライアルアカウントである間のダッシュボードです。チャージが反映されるとトライアルアカウントではなくなり、受け取れなくなります。
アカウントの作成時には、ブラウザーで短時間のプルーフ・オブ・ワーク認証が行われます。クレジットを受け取る際には、メモリ負荷の高い2回目の認証が、同じくブラウザーで実行されます。通常は数秒かかり、多くのトライアルが同時に申請されているときはさらに時間がかかります。その後、ネットワークが次の条件を満たせばクレジットが付与されます。
- データセンター、VPN、Torのアドレスには、トライアルクレジットは付与されません。
- トライアルは、IPv4 /24またはIPv6 /48ごとに30日間で1回までです。
- 1日あたり全体で$500の予算により、配布されるトライアルクレジットの総額が制限されます。
トライアルクレジットを受け取れない場合でも、チャージすればすぐにアカウントを使えます。初回に反映されたチャージが$20以上なら、その額に対して1回限りの10%ボーナスが付与されます($50をチャージすると$55のクレジット)。ボーナスは、ネットワーク(IPv4 /24またはIPv6 /48)ごとに90日に1回までです。
トライアルアカウントには、上の表の低い制限が適用されます。また、負荷が高いときには最初に切り捨てられます。モデルが飽和しているとき、トライアルのリクエストはキャパシティが空くのを待たずに、ただちに429 capacity_exhaustedで失敗します。
トライアルアカウントには、ネットワーク単位の制限もあります。1時間以内に1つのネットワーク(IPv4 /24またはIPv6 /48)からAPIリクエストを送信できるトライアルアカウントは最大2つ、1つのIPv6 /32からは最大6つです。それ以上のトライアルアカウントからのリクエストは429 rate_limit_exceededで失敗し、Retry-Afterヘッダーに枠が空くまでの秒数が入ります。すでに枠を確保しているアカウントは常に受け付けられ、リクエストのたびに枠がさらに1時間保持されます。そのため枠は、そのアカウントがそのネットワークから最後にリクエストを送ってから1時間後に空きます。有料アカウントがこの方法で数えられたり制限されたりすることはありません。この制限を適用するために保持するのは、ネットワークプレフィックスの鍵付きハッシュと、そこから確認されたトライアルアカウントのIDだけで、そのネットワークからの最後のトライアルリクエストの1時間後まで保持します。プライバシーを参照してください。
初回のチャージが反映されると、トライアルの制限はすべて解除されます。
出力予算
すべてのリクエストには、生成できるトークン数の上限である出力予算があります。
/v1/chat/completions:max_tokensまたはmax_completion_tokens。デフォルトは16384。/v1/messages:max_tokens(必須)。/v1/responses:max_output_tokens。デフォルトは16384。/v1/completions:max_tokens。デフォルトは16384。
モデルの最大出力を超える予算や、トライアルアカウントで4096を超える予算は、拒否されずにその上限まで引き下げられます。推論トークンも予算に含まれます。
残高の仮押さえ
リクエストを転送する前に、そのリクエストで発生しうる最大コストを仮押さえします。推定入力トークンを入力価格で計算した額に、出力予算の全量(256トークン未満にはなりません)を出力価格で計算した額を加えたものです。レスポンスが終わると仮押さえは解除され、実際の使用量だけが課金されます。
-
入力の推定:リクエストのメッセージ、システムプロンプトまたは指示、ツール、プロンプトのUTF-8でのバイト数を3で割った値です。画像と動画のパートはタイプ名だけを数え、トークン数は代わりに次のように推定します。
- ヘッダーからピクセルサイズを読み取れるbase64画像(PNG、JPEG、GIF、WebP、BMP):28 × 28ピクセルのタイルごとに1トークン(切り上げ)、最大16,384トークン。
- 画像URL、またはサイズを読み取れないbase64画像:16,384トークン。
- 動画:65,536トークン。
合計の上限はモデルのコンテキスト長です。
-
出力:出力予算です。
/v1/completionsのpromptが最大4件の配列の場合は、プロンプトの数を掛けます。 -
優先処理:
"service_tier": "priority"のリクエストは、モデルの優先価格で仮押さえされます。
context_length_exceeded_behaviorによってモデルが生成できる量が引き下げられる場合でも、仮押さえされる出力は予算の全量です。実際に課金されるのは、モデルが報告した量だけです。
仮押さえ額が残高に収まらない場合は、出力予算(プロンプトごと)を残高で支払える最大量まで引き下げて、もう一度だけ試します。ただし、その量が256トークン以上の場合に限ります。256トークンを下回る場合は、リクエスト自体が256トークン未満しか求めていなくても、リクエストは402 insufficient_balanceで失敗します。そのため、残高がほとんどないと回答が短くなり、長さ制限による終了理由で止まることがあります。全長の回答が必要な場合は、予算を小さく設定するか、チャージしてください。
支出上限
各APIキーには、1日の上限、月間の上限、累計予算をAPIキーで設定できます。日と月はUTC基準です。リクエストの仮押さえ額を、そのキーの当日・当月・累計の確定済みの利用額と、実行中のリクエストの仮押さえ額に加えた結果が上限を超える場合、リクエストは402 key_spend_cap_reachedで失敗します。そのため、並列リクエストで上限を超えることはなく、開始済みのレスポンスが上限によって途中で打ち切られることもありません。各上限の残りはGET /v1/balanceで確認できます。
飽和時の動作
モデルのすべてのレプリカが使用中の場合、有料リクエストは失敗せずに待機します。バックオフを挟みながらリトライし、試行の間隔は250 msから始めて最大4秒まで倍増させ、合計で最大30秒続けます。それでもキャパシティが空かなければ、リクエストは429 capacity_exhaustedとRetry-After: 5で失敗します。料金はかかりません。
リトライはレスポンスの開始前にだけ行われます。モデルが回答を始めたら、レスポンスは上記の時間制限の範囲内で最後までストリーミングされます。トライアルのリクエストはリトライされません。
GPUの交換中など、モデルに提供可能なキャパシティがまったくない場合、そのモデルへのリクエストはリトライされません。トライアルアカウントでも有料アカウントでも、30秒待つことなくただちに503 model_unavailableで失敗します。モデルの再確認は多くても15秒に1回で、Retry-Afterには次の確認までの秒数が入ります。料金はかからず、これらの失敗は拒否されたリクエストの制限にも数えられません。このような障害は数分続くことがあります。解消しない場合は、別のモデルを使ってください。
優先ティアのあるモデルでは、モデルが混雑しているときに"service_tier": "priority"のリクエストが標準のリクエストより先に処理されます。そのため待ち時間が短く、capacity_exhaustedで失敗することも少なくなります。料金はモデルの優先価格で課金されます。POST /v1/chat/completionsを参照してください。
アップデートのための再起動中は、すでに実行中のリクエストに完了するための時間が与えられます。その間もAPIは接続を受け付け続けますが、新しいリクエストには課金前にただちに503 capacity_exhaustedとRetry-After: 5を返します。APIが一時的に大量のリクエストデータを同時に抱えているときも、新しいリクエストには同じ応答が返ります。その時間が過ぎても実行中のリクエストは停止されます。ストリームはエラーイベントで終わり、非ストリーミングリクエストは503 upstream_errorとRetry-After: 5で失敗します(すでに90秒実行されていた場合は、Retry-Afterなしで200のボディにそのエラーが入ります)。どちらの場合も、時間制限で停止したリクエストと同じように課金されます。モデルがまだ何も出力を生成していなければ料金はかからず、それ以外の場合は推定入力とそれまでに生成された出力に対して課金されます。Retry-Afterの秒数が経過してからリトライするか、エラーが200のボディで届いた場合は指数バックオフでリトライしてください。
コンテキスト長
プロンプトと出力予算の合計は、モデルのコンテキストウィンドウに収まる必要があります。デフォルト("context_length_exceeded_behavior": "truncate")では、収まらない出力予算はプロンプトが残した余地まで引き下げられます。代わりに400 invalid_requestを返すようにするには、"error"を送信してください。プロンプトだけでコンテキストウィンドウを超える場合は常に400 invalid_requestで失敗し、切り詰められることはありません。コンテキストのサイズはGET /v1/modelsに記載しています。