Limites et clés API
Limites et clés API
Limites de production, clés API, GPU Cloud, agents hébergés, chats sauvegardés sur Playground, et augmentation des requêtes
Chaque compte reçoit des limites de production par défaut et peut demander des limites plus élevées à mesure que l’utilisation augmente. Les paramètres par défaut ci-dessous sont synchronisés avec les paramètres de la plateforme live.
Limites de compte par défaut
Envoyez un mail à support@empiriolabs.ai si vous avez besoin de limites plus élevées pour les charges de travail en production.
Format de clé API
Les clés API utilisent le préfixe sk-empiriolabs-:
Gardez les clés API uniquement côté serveur. Ne les exposez jamais dans le code du navigateur, les applications mobiles, les dépôts publics ou les journaux clients.
GPU Cloud limites
Les limites du GPU Cloud sont limitées par rapport au compte. Le défaut montré ci-dessus provient des paramètres de la plateforme en direct, et la page des paramètres du tableau de bord affiche votre limite effective.
Les déploiements multi-GPU comptent chaque GPU dans la limite. Par exemple, une instance à deux GPU utilise deux emplacements GPU. Les instances arrêtées conservent leur spécification de déploiement et continuent de compter jusqu’à la limite du GPU Cloud jusqu’à ce qu’elles soient détruites.
La taille du disque peut être réglée de 100 Go à 300 Go par instance. Le déploiement ou le démarrage d’un GPU nécessite également un solde de crédits suffisant pour la fenêtre initiale de fonctionnement.
Limites d’agents hébergés
Les limites des agents hébergés sont évaluées par rapport au compte. Le défaut montré ci-dessus provient des paramètres de la plateforme en direct, et la page des paramètres du tableau de bord affiche votre limite effective.
Les agents hébergés arrêtés conservent leur état d’exécution géré et continuent de compter jusqu’à la limite jusqu’à leur destruction. Créer ou renouveler un agent hébergé nécessite un solde de crédit suffisant pour le forfait mensuel sélectionné.
Gestion des clés API
- Générer de nouvelles clés à partir du tableau de bord
- Chaque compte peut contenir jusqu’à 50 clés API (ajustables, contactez le support)
- Supprimez rapidement les touches inutilisées pour réduire votre surface d’attaque
- Utilisez des clés séparées pour la production, la mise en scène et le développement afin d’isoler les environnements
Discussions de terrain de récréation sauvegardées
Le Playground sauvegarde automatiquement les conversations afin que vous puissiez revenir plus tard aux tests utiles du modèle, aux prompts et aux réponses.
L’historique de discussion Playground enregistré couvre actuellement les conversations textuelles pour les modèles et modes de chat pris en charge. La génération de médias, la recherche, la transcription, la agent/task et d’autres exécutions Playground non textuelles peuvent toujours être consultées via l’historique d’utilisation même sans sauvegarde de transcription du chat.
L’interface de Playground affiche également une puce d’état dans l’en-tête du chat:
L’API de chat sauvegardé publique est en lecture seule. Sauvegarder et supprimer les discussions se fait toujours dans le tableau de bord Playground.
Comportement de la limite de taux
Lorsque vous dépassez une limite de vitesse, l’API renvoie une réponse 429 Too Many Requests. Utilisez un retour exponentiel avec le jitter lors de la réessaie.
Les limites de taux sont appliquées par compte, pas par clé API. Toutes les clés sur le même compte partagent le même budget RPM et TPM.
Demande de limites plus élevées
Si votre charge de travail nécessite plus que le 50 RPM par défaut ou 2 millions de TPM, envoyez un e-mail à support@empiriolabs.ai avec:
- Votre adresse e-mail ou votre identifiant de compte
- Les limites dont vous avez besoin et pourquoi
- Schémas de trafic attendus (RPM de pointe, taille moyenne de la requête)