Primeiros passosLimites de requisições e teste grátis

Limites de requisições e teste grátis

Os limites protegem a capacidade compartilhada. Eles são verificados antes de qualquer cobrança; então uma requisição barrada por um limite não custa nada. Depois de entrar, a página Limites mostra os limites da sua conta com contagens ao vivo das requisições em andamento e das requisições deste minuto.

Limites de requisições

Contas pagasContas de teste
Requisições por minuto por chave600 por chave de API10 por chave de API
Requisições por minuto por conta1.200 somando todas as chaves20 somando todas as chaves
Requisições simultâneas64 por conta1 por conta
Requisições rejeitadas por minuto por conta3030
Tamanho do corpo da requisição16 MiB16 MiB
Tempo por requisição10 minutos10 minutos
Máx. de tokens de saída por requisiçãoO max_output_tokens do modelo em GET /v1/models4096
Novas tentativas quando os modelos estão saturadosAté 30 segundosNenhuma
Contas que enviam requisições de uma mesma rede por horaSem limite2 por IPv4 /24 ou IPv6 /48, 6 por IPv6 /32
  • As requisições por minuto são contadas em janelas fixas de 60 segundos, por chave e por conta. Ultrapassar qualquer um dos dois limites retorna 429 rate_limit_exceeded com um cabeçalho Retry-After que informa os segundos até a janela reiniciar. Um limite personalizado por chave acima de 1.200 eleva o limite da conta para o mesmo valor.
  • As requisições simultâneas são contadas por conta, somando todas as chaves, desde o momento em que os cabeçalhos de uma requisição chegam (antes do envio do corpo) até o fim da resposta. Ultrapassar o limite retorna 429 rate_limit_exceeded sem ler o corpo. Tente novamente quando uma das suas requisições em andamento terminar.
  • Requisições rejeitadas são as bloqueadas pela verificação de segurança (400 content_policy_violation) e as que passaram por ela e depois foram recusadas pelo modelo (um 4xx, como um parâmetro inválido ou um prompt maior que o tamanho do contexto) ou abandonadas pelo cliente antes de serem encaminhadas. Elas não custam nada; depois de 30 em um minuto, as requisições da conta falham com 429 rate_limit_exceeded e um cabeçalho Retry-After até a janela reiniciar. Corrija as requisições que falham em vez de tentar de novo.
  • Um corpo acima de 16 MiB falha com 413 invalid_request antes de ser lido.
  • O corpo precisa continuar chegando: 20 segundos sem receber nada, ou um envio não concluído em 2 minutos, resulta em falha com 408 invalid_request.
  • Uma conta pode ocupar no máximo um quarto do orçamento do gateway para corpos de requisições em andamento (16 MiB de corpos ao mesmo tempo). Acima disso, as novas requisições dela falham com 429 rate_limit_exceeded e Retry-After até que uma delas termine; as outras contas não são afetadas.
  • Uma requisição é interrompida após 10 minutos, incluindo o tempo em que seu cliente passa sem ler. Depois que o modelo começa a responder, ela também é interrompida quando o modelo passa 2 minutos sem enviar nada; a espera pelo primeiro token, que cresce com o prompt, é limitada apenas pelos 10 minutos. A resposta então termina com um erro. Requisições sem streaming também têm os 10 minutos completos: uma resposta ainda em andamento após 90 segundos é enviada com status 200 e começa com quebras de linha que os parsers JSON ignoram, e um erro a partir desse ponto chega no corpo do 200 (veja Requisições longas). Se o modelo ainda não tiver gerado nenhuma saída, nada é cobrado. Caso contrário, você paga pela entrada estimada mais a saída gerada até o momento, com ou sem streaming (bytes UTF-8 divididos por 3, pelo menos um token por delta gerado). A estimativa nunca ultrapassa o tamanho do contexto do modelo, para a entrada, nem o orçamento de saída da requisição, para a saída. A desconexão pelo seu cliente é a única exceção: ela é cobrada pela entrada estimada mesmo quando nenhuma saída foi gerada, mais qualquer saída gerada antes de você sair.
  • Revendedores e outros usuários de alto volume podem pedir ao suporte limites personalizados por conta, inclusive o limite de requisições rejeitadas. A revenda exige um contrato de revenda por escrito; veja os Termos.
  • Contas de revendedor designadas podem delegar a triagem conforme o contrato que têm conosco; as duas verificações do classificador são dispensadas para essas contas. Isso não remove os limites normais de RPM, simultaneidade, gastos por chave ou requisições rejeitadas, e não altera a retenção dos metadados de uso. Veja Triagem de segurança.

Contas de teste

Uma conta é de teste até que sua primeira recarga seja creditada. Uma conta nova começa sem crédito e pode resgatar $0.50 de crédito grátis uma vez, em uma etapa separada: logo após o cadastro em /start, ou depois no Painel, enquanto ainda for uma conta de teste que não recebeu crédito de teste. Depois que uma recarga é creditada, a conta deixa de ser de teste e não pode mais resgatar.

Criar a conta exige uma verificação rápida de prova de trabalho no seu navegador. Resgatar o crédito executa uma segunda verificação, que exige muita memória, também no seu navegador. Ela normalmente leva alguns segundos, e mais tempo quando muitos testes estão sendo resgatados. O crédito é então concedido quando a rede se qualifica:

  • Endereços de data center, VPN e Tor não recebem crédito de teste.
  • Um teste por IPv4 /24 ou IPv6 /48 a cada 30 dias.
  • Um orçamento global diário de $500 limita quanto crédito de teste é distribuído.

Quando não há crédito de teste disponível, você ainda pode adicionar crédito e usar a conta imediatamente. Se sua primeira recarga creditada for de $20 ou mais, você recebe um bônus único de 10% sobre ela (adicione $50 e receba $55 de crédito), limitado a um bônus por rede (IPv4 /24 ou IPv6 /48) a cada 90 dias.

As contas de teste têm os limites mais baixos da tabela acima. Elas também são as primeiras a ser descartadas sob carga: quando os modelos estão saturados, uma requisição de teste falha imediatamente com 429 capacity_exhausted em vez de esperar por capacidade.

As contas de teste também são limitadas por rede. Em uma hora, no máximo 2 contas de teste podem fazer requisições à API a partir de uma mesma rede (um IPv4 /24 ou IPv6 /48), e no máximo 6 a partir de um IPv6 /32. Uma requisição de mais uma conta de teste falha com 429 rate_limit_exceeded e um cabeçalho Retry-After que informa os segundos até uma vaga ser liberada. Uma conta que já ocupa uma vaga é sempre aceita, e cada requisição dela mantém a vaga por mais uma hora; assim, uma vaga é liberada uma hora após a última requisição da conta a partir dessa rede. Contas pagas nunca são contadas nem limitadas dessa forma. Para aplicar o limite, mantemos apenas um hash com chave do prefixo de rede com os IDs das contas de teste vistas nele, até uma hora após a última requisição de teste dessa rede; veja Privacidade.

Todos os limites de teste são removidos assim que sua primeira recarga é creditada.

Orçamento de saída

Toda requisição tem um orçamento de saída, o número máximo de tokens que ela pode gerar:

  • /v1/chat/completions: max_tokens ou max_completion_tokens, padrão 16384.
  • /v1/messages: max_tokens, que é obrigatório.
  • /v1/responses: max_output_tokens, padrão 16384.
  • /v1/completions: max_tokens, padrão 16384.

Um orçamento acima da saída máxima do modelo, ou acima de 4096 em uma conta de teste, é reduzido a esse limite em vez de ser rejeitado. Os tokens de raciocínio contam para o orçamento.

Reservas de saldo

Antes de encaminhar uma requisição, reservamos o máximo que ela pode custar: os tokens de entrada estimados ao preço de entrada, mais o orçamento de saída completo (nunca menos de 256 tokens) ao preço de saída. Quando a resposta termina, a reserva é liberada e apenas o uso real é cobrado.

  • Estimativa de entrada. O tamanho em bytes UTF-8 das mensagens, do prompt do sistema ou das instruções, das ferramentas e do prompt da requisição, dividido por 3, com cada parte de imagem e de vídeo contada apenas pelo nome do tipo e com os tokens dela estimados à parte:

    • uma imagem base64 cujo tamanho em pixels pode ser lido do cabeçalho (PNG, JPEG, GIF, WebP ou BMP): um token por bloco de 28 × 28 pixels, arredondado para cima, no máximo 16.384 tokens;
    • uma URL de imagem, ou uma imagem base64 cujo tamanho não pode ser lido: 16.384 tokens;
    • um vídeo: 65.536 tokens.

    O total é limitado ao tamanho do contexto do modelo.

  • Saída. O orçamento de saída, multiplicado pelo número de prompts quando o prompt de /v1/completions é um array de até 4.

  • Prioridade. Uma requisição com "service_tier": "priority" é reservada aos preços prioritários do modelo.

A saída reservada é o orçamento completo mesmo quando context_length_exceeded_behavior reduz o que o modelo pode gerar; você continua pagando apenas o que ele informa.

Se a reserva não couber no seu saldo, reduzimos o orçamento de saída (por prompt) ao maior valor que você pode pagar e tentamos mais uma vez, desde que esse valor seja de pelo menos 256 tokens. Abaixo disso, a requisição falha com 402 insufficient_balance, mesmo quando ela própria pede menos de 256 tokens. Por isso, um saldo quase zerado pode produzir respostas mais curtas, que param com o motivo de término por comprimento (length). Defina um orçamento menor, ou adicione crédito, se precisar do comprimento completo.

Tetos de gastos

Cada chave de API pode ter um teto diário, um teto mensal e um orçamento total, definidos em Chaves de API. Dias e meses seguem o UTC. Uma requisição falha com 402 key_spend_cap_reached quando a reserva dela, somada ao gasto liquidado da chave no dia, no mês ou no total e às reservas das requisições dela ainda em andamento, ultrapassaria o teto. Por isso, requisições paralelas não conseguem estourar um teto, e uma resposta já iniciada nunca é cortada por um. GET /v1/balance informa quanto resta de cada teto.

Saturação

Quando todas as réplicas de um modelo estão ocupadas, as requisições pagas esperam em vez de falhar. Tentamos novamente com backoff, começando em 250 ms e dobrando até 4 segundos entre as tentativas, por até 30 segundos no total. Se ainda assim não houver capacidade livre, a requisição falha com 429 capacity_exhausted e Retry-After: 5. Nada é cobrado.

As novas tentativas só acontecem antes de a resposta começar. Quando o modelo começa a responder, a resposta é transmitida até o fim, dentro dos limites de tempo acima. Requisições de teste não são repetidas.

Quando um modelo não tem nenhuma capacidade de atendimento, por exemplo enquanto as GPUs dele estão sendo substituídas, as requisições dele não são repetidas: falham na hora com 503 model_unavailable, tanto para contas de teste quanto para contas pagas, sem a espera de 30 segundos. Verificamos o modelo novamente no máximo uma vez a cada 15 segundos, e Retry-After informa os segundos até a próxima verificação. Nada é cobrado, e essas falhas não contam para o limite de requisições rejeitadas. Uma interrupção como essa pode durar vários minutos; se persistir, use outro modelo.

Nos modelos com nível prioritário, as requisições com "service_tier": "priority" são atendidas antes das padrão quando o modelo está ocupado; assim, esperam menos e falham com capacity_exhausted com menos frequência. Elas são cobradas aos preços prioritários do modelo; veja POST /v1/chat/completions.

Durante uma reinicialização para atualização, as requisições já em andamento ganham tempo para terminar. Enquanto isso, a API continua aceitando conexões e responde na hora a toda nova requisição com 503 capacity_exhausted e Retry-After: 5, antes de qualquer cobrança. Uma nova requisição recebe a mesma resposta quando a API está momentaneamente com dados de requisição demais ao mesmo tempo. Uma requisição ainda em andamento quando esse tempo acaba é interrompida: um stream termina com um evento de erro e uma requisição sem streaming falha com 503 upstream_error e Retry-After: 5 (ou, se já estava em execução havia 90 segundos, recebe esse erro no corpo do 200, sem Retry-After), e as duas são cobradas como uma requisição interrompida por limite de tempo: nada se o modelo ainda não tiver gerado nenhuma saída; caso contrário, a entrada estimada mais a saída gerada até o momento. Tente novamente após Retry-After segundos, ou com backoff exponencial quando o erro vier em um corpo de 200.

Tamanho do contexto

O prompt mais o orçamento de saída precisam caber na janela de contexto do modelo. Por padrão ("context_length_exceeded_behavior": "truncate"), um orçamento de saída que não cabe é reduzido ao espaço que o prompt deixa livre; envie "error" para receber 400 invalid_request em vez disso. Um prompt que sozinho é maior que a janela de contexto sempre falha com 400 invalid_request e nunca é cortado. Os tamanhos de contexto estão listados em GET /v1/models.