시작하기속도 제한 및 체험

속도 제한 및 체험

한도는 공유 용량을 보호합니다. 한도는 비용이 청구되기 전에 확인하므로, 한도에 걸린 요청에는 비용이 들지 않습니다. 로그인한 상태에서 한도 페이지를 열면 계정의 한도와 함께 실행 중인 요청 수와 이번 분의 요청 수가 실시간으로 표시됩니다.

요청 한도

유료 계정체험 계정
키당 분당 요청 수API 키당 600건API 키당 10건
계정당 분당 요청 수모든 키 합산 1,200건모든 키 합산 20건
동시 요청계정당 64건계정당 1건
계정당 분당 거부된 요청30건30건
요청 본문 크기16 MiB16 MiB
요청당 시간10분10분
요청당 최대 출력 토큰GET /v1/models에 나온 모델의 max_output_tokens4096
모델 포화 시 재시도최대 30초없음
한 네트워크에서 시간당 요청을 보내는 계정 수제한 없음IPv4 /24 또는 IPv6 /48당 2개, IPv6 /32당 6개
  • 분당 요청 수는 키별, 계정별로 고정된 60초 구간 단위로 집계합니다. 둘 중 하나라도 초과하면 429 rate_limit_exceeded 오류가 반환되며, Retry-After 헤더에 구간이 초기화될 때까지 남은 초가 담깁니다. 키별 사용자 지정 한도가 1,200을 넘으면 계정 한도도 그에 맞춰 올라갑니다.
  • 동시 요청은 계정의 모든 키를 합산해 계정 단위로 집계하며, 요청 헤더가 도착한 시점(본문 업로드 전)부터 응답이 끝날 때까지 셉니다. 초과하면 본문을 읽지 않고 429 rate_limit_exceeded 오류를 반환합니다. 실행 중인 요청 중 하나가 끝나면 다시 시도하세요.
  • 거부된 요청이란 안전 검사에서 차단된 요청(400 content_policy_violation)과, 안전 검사는 통과했지만 모델이 거부한 요청(잘못된 매개변수나 컨텍스트 길이를 넘는 프롬프트 등으로 인한 4xx) 또는 전달되기 전에 클라이언트가 중단한 요청을 말합니다. 거부된 요청에는 비용이 들지 않지만, 1분 안에 30건이 쌓이면 구간이 초기화될 때까지 계정의 요청이 Retry-After 헤더와 함께 429 rate_limit_exceeded 오류로 실패합니다. 다시 시도하기보다는 실패하는 요청을 수정하세요.
  • 16 MiB를 넘는 본문은 읽기 전에 413 invalid_request 오류로 실패합니다.
  • 본문은 끊김 없이 도착해야 합니다. 20초 동안 아무것도 수신되지 않거나 업로드가 2분 안에 끝나지 않으면 408 invalid_request 오류로 실패합니다.
  • 한 계정은 게이트웨이 전체의 처리 중 본문 예산 중 최대 4분의 1(한 번에 16 MiB 분량의 본문)까지만 점유할 수 있습니다. 이를 넘으면 그 계정의 요청 중 하나가 끝날 때까지 해당 계정의 새 요청이 Retry-After와 함께 429 rate_limit_exceeded 오류로 실패하며, 다른 계정은 영향을 받지 않습니다.
  • 요청은 클라이언트가 응답을 읽지 않는 시간을 포함해 10분이 지나면 중단됩니다. 모델이 응답을 시작한 뒤에는 모델이 2분 동안 아무것도 보내지 않을 때도 중단됩니다. 첫 토큰을 기다리는 시간은 프롬프트가 길수록 늘어나며, 10분 제한만 적용됩니다. 이때 응답은 오류로 끝납니다. 비스트리밍 요청에도 10분 전체가 주어집니다. 90초가 지나도 실행 중인 응답은 상태 200으로 전송되며 JSON 파서가 건너뛰는 줄바꿈으로 시작하고, 그 이후에 발생한 오류는 200 응답 본문에 담겨 전달됩니다(긴 요청 참고). 모델이 아직 아무 출력도 생성하지 않았다면 비용은 청구되지 않습니다. 그렇지 않으면 스트리밍 여부와 관계없이 추정 입력과 그때까지 생성된 출력에 대해 청구됩니다(UTF-8 바이트 수를 3으로 나눈 값, 생성된 델타당 최소 1토큰). 추정치는 입력의 경우 모델의 컨텍스트 길이를, 출력의 경우 요청의 출력 예산을 넘지 않습니다. 유일한 예외는 클라이언트의 연결 끊김입니다. 이 경우 출력이 생성되지 않았더라도 추정 입력에 대해 청구되며, 연결이 끊기기 전에 생성된 출력도 함께 청구됩니다.
  • 리셀러와 기타 대량 사용자는 지원팀에 거부된 요청 한도를 포함한 계정별 사용자 지정 한도를 요청할 수 있습니다. 재판매하려면 서면 리셀러 계약이 필요합니다. 이용약관을 참고하세요.
  • 지정된 리셀러 계정은 당사와의 계약에 따라 안전 검사를 위임할 수 있으며, 이 계정에는 두 분류기 검사가 모두 적용되지 않습니다. 그렇다고 일반적인 RPM, 동시 요청, 키 지출, 거부된 요청 한도가 해제되지는 않으며, 사용 메타데이터 보관 방식도 바뀌지 않습니다. 안전 검사를 참고하세요.

체험 계정

첫 충전이 반영되기 전까지 계정은 체험 계정입니다. 새 계정에는 크레딧이 없으며, 별도 단계를 거쳐 $0.50의 무료 크레딧을 한 번 받을 수 있습니다. 가입 직후 /start 페이지에서 받거나, 아직 체험 크레딧을 받지 않은 체험 계정이라면 나중에 대시보드에서 받을 수 있습니다. 충전이 반영되면 더 이상 체험 계정이 아니므로 받을 수 없습니다.

계정을 만들 때 브라우저에서 간단한 작업 증명 확인을 거칩니다. 크레딧을 받을 때는 역시 브라우저에서 메모리를 많이 쓰는(memory-hard) 두 번째 확인이 실행됩니다. 보통 몇 초가 걸리며, 체험 신청이 몰리면 더 오래 걸립니다. 이후 네트워크가 조건을 충족하면 크레딧이 지급됩니다.

  • 데이터 센터, VPN, Tor 주소에는 체험 크레딧이 지급되지 않습니다.
  • IPv4 /24 또는 IPv6 /48당 30일에 한 번만 체험할 수 있습니다.
  • 지급되는 체험 크레딧 총액은 전체 일일 예산 $500 한도로 제한됩니다.

체험 크레딧을 받을 수 없어도 충전하면 바로 계정을 사용할 수 있습니다. 첫 충전 금액이 $20 이상이면 그 금액의 10%를 일회성 보너스로 받으며($50를 충전하면 $55의 크레딧), 보너스는 네트워크(IPv4 /24 또는 IPv6 /48)당 90일마다 1회로 제한됩니다.

체험 계정에는 위 표의 낮은 한도가 적용됩니다. 부하가 높을 때도 가장 먼저 제외됩니다. 모델이 포화 상태이면 체험 요청은 용량을 기다리지 않고 즉시 429 capacity_exhausted 오류로 실패합니다.

체험 계정은 네트워크 단위로도 제한됩니다. 1시간 안에 한 네트워크(IPv4 /24 또는 IPv6 /48)에서 API 요청을 보낼 수 있는 체험 계정은 최대 2개이고, IPv6 /32 하나에서는 최대 6개입니다. 그 밖의 체험 계정에서 보낸 요청은 429 rate_limit_exceeded 오류로 실패하며, Retry-After 헤더에 자리가 날 때까지 남은 초가 담깁니다. 이미 자리를 차지한 계정은 항상 허용되며, 요청을 보낼 때마다 그때부터 1시간 동안 자리가 유지됩니다. 따라서 자리는 해당 계정이 그 네트워크에서 마지막으로 요청한 지 1시간 뒤에 비게 됩니다. 유료 계정은 이런 방식으로 집계되거나 제한되지 않습니다. 이 제한을 적용하기 위해 네트워크 프리픽스의 키 기반 해시와 그 네트워크에서 확인된 체험 계정 ID만 보관하며, 그 네트워크의 마지막 체험 요청 후 1시간이 지나면 삭제합니다. 개인정보 보호를 참고하세요.

첫 충전이 반영되는 즉시 모든 체험 제한이 해제됩니다.

출력 예산

모든 요청에는 출력 예산, 즉 생성할 수 있는 최대 토큰 수가 있습니다.

  • /v1/chat/completions: max_tokens 또는 max_completion_tokens, 기본값 16384.
  • /v1/messages: max_tokens, 필수.
  • /v1/responses: max_output_tokens, 기본값 16384.
  • /v1/completions: max_tokens, 기본값 16384.

모델의 최대 출력보다 크거나, 체험 계정에서 4096보다 큰 예산은 거부되지 않고 해당 한도로 낮춰집니다. 추론 토큰도 예산에 포함됩니다.

잔액 임시 차감

요청을 전달하기 전에 그 요청에 들 수 있는 최대 비용을 임시 차감합니다. 최대 비용은 추정 입력 토큰에 입력 가격을 곱한 값과 전체 출력 예산(최소 256토큰)에 출력 가격을 곱한 값의 합입니다. 응답이 끝나면 임시 차감이 해제되고 실제 사용량만 청구됩니다.

  • 입력 추정치. 요청의 메시지, 시스템 프롬프트 또는 지침(instructions), 도구, 프롬프트의 UTF-8 바이트 크기를 3으로 나눈 값입니다. 이미지와 동영상 부분은 크기에 유형 이름만 포함하고, 대신 토큰 수를 따로 추정합니다.

    • 헤더에서 픽셀 크기를 읽을 수 있는 base64 이미지(PNG, JPEG, GIF, WebP, BMP): 28 × 28픽셀 타일당 1토큰(올림), 최대 16,384토큰
    • 이미지 URL 또는 크기를 읽을 수 없는 base64 이미지: 16,384토큰
    • 동영상: 65,536토큰

    합계는 모델의 컨텍스트 길이를 넘지 않습니다.

  • 출력. 출력 예산입니다. /v1/completions의 prompt가 최대 4개짜리 배열이면 프롬프트 수를 곱합니다.

  • 우선 처리. "service_tier": "priority" 요청은 모델의 우선 처리 가격으로 임시 차감됩니다.

context_length_exceeded_behavior 설정으로 모델이 생성할 수 있는 양이 줄어들더라도 출력은 전체 예산만큼 임시 차감됩니다. 청구는 여전히 모델이 보고한 사용량에 대해서만 이루어집니다.

임시 차감액이 잔액을 넘으면 출력 예산(프롬프트당)을 잔액으로 감당할 수 있는 최대치로 낮춰 한 번 더 시도합니다. 단, 그 값이 256토큰 이상이어야 합니다. 그보다 적으면 요청 자체가 256토큰 미만을 요청하더라도 402 insufficient_balance 오류로 실패합니다. 따라서 잔액이 거의 없으면 응답이 length 종료 사유로 끊겨 짧아질 수 있습니다. 전체 길이가 필요하면 예산을 줄이거나 충전하세요.

지출 한도

각 API 키에는 API 키 페이지에서 일일 한도, 월간 한도, 누적 예산을 설정할 수 있습니다. 일과 월은 UTC 기준입니다. 요청의 임시 차감액을 해당 키의 일간, 월간 또는 누적 확정 사용 금액과 아직 실행 중인 요청의 임시 차감액에 더한 값이 한도를 넘으면 요청은 402 key_spend_cap_reached 오류로 실패합니다. 따라서 병렬 요청이 한도를 초과할 수 없으며, 이미 시작된 응답이 한도 때문에 중간에 끊기는 일도 없습니다. 각 한도의 남은 금액은 GET /v1/balance에서 확인할 수 있습니다.

포화 상태

모델의 모든 레플리카가 사용 중이면 유료 요청은 실패하지 않고 대기합니다. 시도 간격을 250 ms에서 시작해 최대 4초까지 두 배씩 늘리는 백오프 방식으로 총 30초까지 재시도합니다. 그래도 용량이 확보되지 않으면 요청은 429 capacity_exhausted 오류와 Retry-After: 5로 실패합니다. 비용은 청구되지 않습니다.

재시도는 응답이 시작되기 전에만 이루어집니다. 모델이 응답을 시작하면 응답은 위의 시간 제한 안에서 끝까지 스트리밍됩니다. 체험 요청은 재시도하지 않습니다.

GPU 교체 중처럼 모델에 서빙 용량이 전혀 없을 때는 요청을 재시도하지 않습니다. 체험 계정과 유료 계정 모두 30초 대기 없이 즉시 503 model_unavailable 오류로 실패합니다. 모델은 15초에 한 번을 넘지 않게 다시 확인하며, Retry-After에는 다음 확인까지 남은 초가 담깁니다. 비용은 청구되지 않으며, 이런 실패는 거부된 요청 한도에 포함되지 않습니다. 이런 장애는 몇 분간 이어질 수 있으니, 계속되면 다른 모델을 사용하세요.

우선 처리 등급이 있는 모델에서는 모델이 혼잡할 때 "service_tier": "priority" 요청이 일반 요청보다 먼저 처리되므로 대기 시간이 짧고 capacity_exhausted 오류로 실패하는 경우도 적습니다. 이 요청은 모델의 우선 처리 가격으로 과금됩니다. POST /v1/chat/completions 문서를 참고하세요.

업데이트를 위해 재시작하는 동안에는 이미 실행 중인 요청이 끝날 시간을 줍니다. 그동안 API는 연결을 계속 받되, 모든 새 요청에 비용 청구 전에 즉시 503 capacity_exhausted 오류와 Retry-After: 5로 응답합니다. API가 일시적으로 너무 많은 요청 데이터를 한꺼번에 보유하고 있을 때도 새 요청은 같은 응답을 받습니다. 주어진 시간이 끝날 때까지 실행 중인 요청은 중단됩니다. 스트림은 오류 이벤트로 끝나고, 비스트리밍 요청은 503 upstream_error 오류와 Retry-After: 5로 실패합니다(이미 90초 동안 실행된 경우에는 Retry-After 없이 200 응답 본문으로 해당 오류를 받습니다). 두 경우 모두 시간 제한으로 중단된 요청과 같은 방식으로 청구됩니다. 모델이 아직 아무 출력도 생성하지 않았다면 비용이 없고, 그렇지 않으면 추정 입력과 그때까지 생성된 출력에 대해 청구됩니다. Retry-After에 표시된 초만큼 기다린 뒤 다시 시도하고, 오류가 200 본문으로 왔다면 지수 백오프로 다시 시도하세요.

컨텍스트 길이

프롬프트와 출력 예산의 합은 모델의 컨텍스트 윈도우에 들어가야 합니다. 기본값("context_length_exceeded_behavior": "truncate")에서는 들어가지 않는 출력 예산이 프롬프트를 넣고 남은 공간만큼으로 줄어듭니다. 대신 400 invalid_request 오류를 받으려면 "error"를 보내세요. 프롬프트만으로 컨텍스트 윈도우보다 길면 항상 400 invalid_request 오류로 실패하며, 프롬프트가 잘리는 일은 없습니다. 컨텍스트 크기는 GET /v1/models 문서에 나와 있습니다.