Primeros pasosLímites de frecuencia y prueba gratis

Límites de frecuencia y prueba gratis

Los límites protegen la capacidad compartida. Se verifican antes de cobrar nada, así que una solicitud limitada no cuesta nada. Con la sesión iniciada, Límites muestra los límites de tu cuenta con recuentos en vivo de las solicitudes en curso y de las solicitudes de este minuto.

Límites de solicitudes

Cuentas de pagoCuentas de prueba
Solicitudes por minuto por clave600 por clave de API10 por clave de API
Solicitudes por minuto por cuenta1,200 entre todas las claves20 entre todas las claves
Solicitudes simultáneas64 por cuenta1 por cuenta
Solicitudes rechazadas por minuto por cuenta3030
Tamaño del cuerpo de la solicitud16 MiB16 MiB
Tiempo por solicitud10 minutos10 minutos
Máx. de tokens de salida por solicitudEl max_output_tokens del modelo en GET /v1/models4096
Reintentos cuando los modelos están saturadosHasta 30 segundosNinguno
Cuentas que envían solicitudes desde una misma red por horaSin límite2 por IPv4 /24 o IPv6 /48, 6 por IPv6 /32
  • Las solicitudes por minuto se cuentan en ventanas fijas de 60 segundos, por clave y por cuenta. Si superas cualquiera de los dos límites, recibes 429 rate_limit_exceeded con un encabezado Retry-After que indica los segundos que faltan para que se reinicie la ventana. Un límite personalizado por clave superior a 1,200 eleva el límite de la cuenta hasta ese mismo valor.
  • Las solicitudes simultáneas se cuentan por cuenta, entre todas sus claves, desde que llegan los encabezados de una solicitud (antes de que se suba su cuerpo) hasta que termina su respuesta. Si superas el límite, recibes 429 rate_limit_exceeded sin que se lea el cuerpo. Reintenta cuando termine una de tus solicitudes en curso.
  • Las solicitudes rechazadas son las que bloquea el control de seguridad (400 content_policy_violation) y las que lo superaron pero luego el modelo rechazó (un 4xx, como un parámetro no válido o un prompt que supera la longitud de contexto) o el cliente abandonó antes de que se reenviaran. No cuestan nada; después de 30 en un minuto, las solicitudes de la cuenta fallan con 429 rate_limit_exceeded y un encabezado Retry-After hasta que se reinicie la ventana. Corrige las solicitudes que fallan en lugar de reintentarlas.
  • Un cuerpo de más de 16 MiB falla con 413 invalid_request antes de leerse.
  • El cuerpo debe seguir llegando: si no se recibe nada durante 20 segundos, o si la subida no termina en 2 minutos, la solicitud falla con 408 invalid_request.
  • Una cuenta puede ocupar como máximo una cuarta parte del presupuesto del gateway para cuerpos en tránsito (16 MiB de cuerpos a la vez). Por encima de eso, sus nuevas solicitudes fallan con 429 rate_limit_exceeded y Retry-After hasta que termine alguna de ellas; las demás cuentas no se ven afectadas.
  • Una solicitud se detiene a los 10 minutos, incluido el tiempo en que tu cliente no está leyendo. Una vez que el modelo empezó a responder, también se detiene si el modelo no envía nada durante 2 minutos; la espera del primer token, que crece con el prompt, solo está acotada por los 10 minutos. La respuesta termina entonces con un error. Las solicitudes sin streaming también disponen de los 10 minutos completos: una respuesta que sigue en curso a los 90 segundos se envía con estado 200 y empieza con saltos de línea que los parsers de JSON omiten, y un error posterior llega en su cuerpo 200 (consulta Solicitudes largas). Si el modelo todavía no había generado ninguna salida, no se cobra nada. De lo contrario, se te cobra la entrada estimada más la salida generada hasta ese momento, con o sin streaming (bytes UTF-8 divididos entre 3, al menos un token por delta generado). La estimación nunca supera la longitud de contexto del modelo para la entrada ni el presupuesto de salida de la solicitud para la salida. La única excepción es una desconexión de tu cliente: se cobra la entrada estimada aunque no se haya generado ninguna salida, más la salida generada antes de que te desconectaras.
  • Los revendedores y otros usuarios de alto volumen pueden pedir a soporte límites personalizados por cuenta, incluido el límite de solicitudes rechazadas. La reventa requiere un acuerdo de revendedor por escrito; consulta los Términos.
  • Las cuentas de revendedor designadas pueden delegar el filtrado según su acuerdo con nosotros; en esas cuentas se omiten las dos verificaciones del clasificador. Esto no elimina los límites habituales de RPM, de solicitudes simultáneas, de gasto por clave ni de solicitudes rechazadas, y no cambia la retención de los metadatos de uso. Consulta Filtrado de seguridad.

Cuentas de prueba

Una cuenta es de prueba hasta que se acredita su primera recarga. Una cuenta nueva empieza sin crédito y puede obtener $0.50 de crédito gratis una vez, en un paso aparte: justo después del registro en /start, o más tarde en el Panel mientras siga siendo una cuenta de prueba que no recibió crédito de prueba. Una vez acreditada una recarga, la cuenta deja de ser de prueba y ya no puede obtenerlo.

Para crear la cuenta, tu navegador hace una verificación rápida de prueba de trabajo. Para obtener el crédito se ejecuta una segunda verificación, que exige mucha memoria, también en tu navegador. Normalmente tarda varios segundos, y más cuando se están solicitando muchas pruebas. Luego el crédito se otorga si la red cumple los requisitos:

  • Las direcciones de centros de datos, VPN y Tor no reciben crédito de prueba.
  • Una prueba por IPv4 /24 o IPv6 /48 cada 30 días.
  • Un presupuesto global diario de $500 limita cuánto crédito de prueba se reparte.

Si no hay crédito de prueba disponible, igual puedes recargar saldo y usar la cuenta de inmediato. Si tu primera recarga acreditada es de $20 o más, recibes un bono único del 10% sobre ella (recargas $50 y obtienes $55 de crédito), limitado a un bono por red (IPv4 /24 o IPv6 /48) cada 90 días.

Las cuentas de prueba tienen los límites más bajos de la tabla anterior. También son las primeras en descartarse cuando hay mucha carga: si los modelos están saturados, una solicitud de prueba falla de inmediato con 429 capacity_exhausted en lugar de esperar a que haya capacidad.

Las cuentas de prueba también tienen un límite por red. En una hora, como máximo 2 cuentas de prueba pueden hacer solicitudes a la API desde una misma red (una IPv4 /24 o IPv6 /48), y como máximo 6 desde una misma IPv6 /32. Una solicitud de una cuenta de prueba adicional falla con 429 rate_limit_exceeded y un encabezado Retry-After que indica los segundos que faltan para que se libere un lugar. Una cuenta que ya ocupa un lugar siempre se admite, y cada una de sus solicitudes conserva el lugar una hora más, así que un lugar se libera una hora después de la última solicitud de su cuenta desde esa red. Las cuentas de pago nunca se cuentan ni se limitan de esta forma. Para aplicar el límite solo guardamos un hash con clave del prefijo de red junto con los IDs de las cuentas de prueba vistas desde él, hasta una hora después de la última solicitud de prueba desde esa red; consulta Privacidad.

Todos los límites de prueba se levantan en cuanto se acredita tu primera recarga.

Presupuesto de salida

Cada solicitud tiene un presupuesto de salida, la cantidad máxima de tokens que puede generar:

  • /v1/chat/completions: max_tokens o max_completion_tokens; valor predeterminado: 16384.
  • /v1/messages: max_tokens, que es obligatorio.
  • /v1/responses: max_output_tokens; valor predeterminado: 16384.
  • /v1/completions: max_tokens; valor predeterminado: 16384.

Un presupuesto que supera la salida máxima del modelo, o 4096 en una cuenta de prueba, se reduce a ese límite en lugar de rechazarse. Los tokens de razonamiento cuentan para el presupuesto.

Retenciones de saldo

Antes de reenviar una solicitud, retenemos lo máximo que podría costar: los tokens de entrada estimados al precio de entrada, más el presupuesto de salida completo (nunca menos de 256 tokens) al precio de salida. Cuando termina la respuesta, se libera la retención y solo se cobra el uso real.

  • Estimación de entrada. El tamaño en bytes UTF-8 de los mensajes, el prompt del sistema o las instrucciones, las herramientas y el prompt de la solicitud, dividido entre 3; cada parte de imagen o video se cuenta solo por el nombre de su tipo, y sus tokens se estiman aparte:

    • una imagen base64 cuyo tamaño en píxeles se puede leer en su cabecera (PNG, JPEG, GIF, WebP o BMP): un token por cada bloque de 28 × 28 píxeles, redondeado hacia arriba, hasta 16,384 tokens;
    • una URL de imagen, o una imagen base64 cuyo tamaño no se puede leer: 16,384 tokens;
    • un video: 65,536 tokens.

    El total tiene como tope la longitud de contexto del modelo.

  • Salida. El presupuesto de salida, multiplicado por la cantidad de prompts cuando el prompt de /v1/completions es un array de hasta 4.

  • Prioridad. Una solicitud con "service_tier": "priority" se retiene a los precios prioritarios del modelo.

La salida retenida es el presupuesto completo aunque context_length_exceeded_behavior reduzca lo que el modelo puede generar; igualmente solo se te cobra lo que el modelo informa.

Si la retención no cabe en tu saldo, reducimos el presupuesto de salida (por prompt) al máximo que puedes pagar y lo intentamos una vez más, siempre que ese monto sea de al menos 256 tokens. Por debajo de eso, la solicitud falla con 402 insufficient_balance, aunque la propia solicitud pida menos de 256 tokens. Por eso, un saldo casi agotado puede producir respuestas más cortas que se detienen con un motivo de finalización por longitud. Si necesitas la longitud completa, define un presupuesto menor o recarga saldo.

Topes de gasto

Cada clave de API puede tener un tope diario, un tope mensual y un presupuesto total, que se configuran en Claves de API. Los días y los meses son UTC. Una solicitud falla con 402 key_spend_cap_reached cuando su retención, sumada al gasto liquidado de la clave en el día, el mes o en total y a las retenciones de sus solicitudes aún en curso, superaría el tope. Por eso, las solicitudes en paralelo no pueden exceder un tope, y un tope nunca corta una respuesta que ya empezó. GET /v1/balance indica cuánto queda de cada tope.

Saturación

Cuando todas las réplicas de un modelo están ocupadas, las solicitudes de pago esperan en lugar de fallar. Reintentamos con backoff, empezando con 250 ms y duplicando la espera hasta 4 segundos entre intentos, durante un máximo de 30 segundos en total. Si aun así no se libera capacidad, la solicitud falla con 429 capacity_exhausted y Retry-After: 5. No se cobra nada.

Los reintentos solo ocurren antes de que empiece la respuesta. Una vez que el modelo empieza a responder, la respuesta se transmite hasta el final, dentro de los límites de tiempo indicados arriba. Las solicitudes de prueba no se reintentan.

Cuando un modelo no tiene ninguna capacidad de servicio, por ejemplo mientras se reemplazan sus GPU, sus solicitudes no se reintentan: fallan de inmediato con 503 model_unavailable, tanto en cuentas de prueba como de pago, sin la espera de 30 segundos. Volvemos a comprobar el modelo como mucho una vez cada 15 segundos, y Retry-After indica los segundos que faltan para la próxima comprobación. No se cobra nada, y estos fallos no cuentan para el límite de solicitudes rechazadas. Una interrupción así puede durar varios minutos; si persiste, usa otro modelo.

En los modelos con nivel prioritario, las solicitudes con "service_tier": "priority" se atienden antes que las estándar cuando el modelo está ocupado, así que esperan menos y fallan con capacity_exhausted con menos frecuencia. Se cobran a los precios prioritarios del modelo; consulta POST /v1/chat/completions.

Durante un reinicio por actualización, las solicitudes que ya están en curso tienen tiempo para terminar. Mientras tanto, la API sigue aceptando conexiones y responde de inmediato a cada solicitud nueva con 503 capacity_exhausted y Retry-After: 5, antes de cobrar nada. Una solicitud nueva recibe la misma respuesta cuando la API tiene momentáneamente demasiados datos de solicitudes a la vez. Una solicitud que sigue en curso cuando se acaba ese tiempo se detiene: un stream termina con un evento de error y una solicitud sin streaming falla con 503 upstream_error y Retry-After: 5 (o, si ya llevaba 90 segundos en curso, recibe ese error en su cuerpo 200 sin Retry-After), y en ambos casos se cobra como una solicitud detenida por un límite de tiempo: nada si el modelo todavía no había generado ninguna salida y, de lo contrario, la entrada estimada más la salida generada hasta ese momento. Reintenta después de Retry-After segundos, o con backoff exponencial si el error llegó en un cuerpo 200.

Longitud de contexto

El prompt más el presupuesto de salida deben caber en la ventana de contexto del modelo. De forma predeterminada ("context_length_exceeded_behavior": "truncate"), un presupuesto de salida que no cabe se reduce al espacio que deja el prompt; envía "error" para recibir 400 invalid_request en su lugar. Un prompt que por sí solo supera la ventana de contexto siempre falla con 400 invalid_request y nunca se recorta. Los tamaños de contexto se indican en GET /v1/models.