सीमाएं और एपीआई कुंजी

उत्पादन सीमाएं, एपीआई कुंजियाँ, GPU Cloud, होस्ट किए गए एजेंट, खेल का मैदान सहेजी गई चैट और अनुरोध बढ़ाएँ

प्रत्येक खाते को डिफ़ॉल्ट उत्पादन सीमाएँ प्राप्त होती हैं और उपयोग बढ़ने पर वह उच्च सीमाओं का अनुरोध कर सकता है. नीचे दिए गए डिफ़ॉल्ट को लाइव प्लेटफ़ॉर्म सेटिंग्स के साथ सिंक में रखा गया है।

डिफ़ॉल्ट खाता सीमाएँ

सीमा लगानाडिफ़ॉल्ट
प्रति मिनट अनुरोध50 आरपीएम
टोकन प्रति मिनट2,000,000 टीपीएम
प्रति खाता API कुंजियाँ50
प्रति खाता GPU Cloud GPU10
प्रति खाता होस्ट किए गए एजेंट3
प्रति खाता सहेजी गई खेल के मैदान चैट50

ईमेल support@empiriolabs.ai यदि आपको उत्पादन कार्यभार के लिए उच्च सीमा की आवश्यकता है।

एपीआई कुंजी प्रारूप

एपीआई कुंजियां sk-empiriolabs- उपसर्ग का उपयोग करती हैं:

1Authorization: Bearer sk-empiriolabs-...

एपीआई कुंजियों को केवल सर्वर-साइड रखें। उन्हें कभी भी ब्राउज़र कोड, मोबाइल ऐप, सार्वजनिक रेपो या क्लाइंट लॉग में उजागर न करें।

GPU Cloud सीमाएँ

GPU Cloud सीमाएं खाता-स्कोप हैं। ऊपर दिखाया गया डिफ़ॉल्ट लाइव प्लेटफ़ॉर्म सेटिंग्स से आता है, और डैशबोर्ड सेटिंग पृष्ठ आपकी प्रभावी सीमा दिखाता है।

मल्टी-GPU परिनियोजन प्रत्येक GPU को सीमा की ओर गिनते हैं। उदाहरण के लिए, एक 2-GPU इंस्टेंस दो GPU स्लॉट का उपयोग करता है। रोके गए इंस्टेंस अपने डिप्लॉय स्पेक को बनाए रखते हैं और GPU Cloud सीमा की ओर तब तक गिनना जारी रखते हैं जब तक कि वे नष्ट न हो जाएं।

डिस्क का आकार 100 GB से 300 GB प्रति आवृत्ति तक सेट किया जा सकता है। GPU को तैनात करने या शुरू करने के लिए प्रारंभिक चलने वाली विंडो के लिए पर्याप्त क्रेडिट बैलेंस की भी आवश्यकता होती है।

होस्टेड एजेंट सीमाएँ

होस्ट की गई एजेंट सीमाएं खाता-दायरे में हैं। ऊपर दिखाया गया डिफ़ॉल्ट लाइव प्लेटफ़ॉर्म सेटिंग्स से आता है, और डैशबोर्ड सेटिंग पृष्ठ आपकी प्रभावी सीमा दिखाता है।

होस्ट किए गए एजेंट अपनी प्रबंधित रनटाइम स्थिति बनाए रखते हैं और तब तक सीमा की ओर गिनना जारी रखते हैं जब तक कि वे नष्ट न हो जाएं। होस्ट किए गए एजेंट को बनाने या नवीनीकृत करने के लिए चयनित मासिक योजना के लिए पर्याप्त क्रेडिट बैलेंस की आवश्यकता होती है।

एपीआई कुंजियों का प्रबंधन

  • डैशबोर्ड से नई कुंजियाँ उत्पन्न करें
  • प्रत्येक खाता अधिकतम 50 API कुंजियाँ (समायोज्य, संपर्क समर्थन) रख सकता है
  • अपने हमले की सतह को कम करने के लिए अप्रयुक्त कुंजियों को तुरंत हटाएं
  • वातावरण को अलग करने के लिए उत्पादन, मंचन और विकास के लिए अलग-अलग कुंजियों का उपयोग करें

सहेजी गई खेल के मैदान चैट

खेल का मैदान बातचीत को स्वतः सहेजता है ताकि आप बाद में उपयोगी मॉडल परीक्षण, संकेत और प्रतिक्रियाओं पर वापस आ सकें।

सहेजे गए प्लेग्राउंड चैट इतिहास में वर्तमान में समर्थित चैट मॉडल और मोड के लिए टेक्स्ट वार्तालाप शामिल हैं। मीडिया जनरेशन, खोज, ट्रांसक्रिप्शन, agent/task, और अन्य गैर-पाठ प्लेग्राउंड रन की अभी भी उपयोग इतिहास के माध्यम से समीक्षा की जा सकती है, भले ही कोई चैट ट्रांसक्रिप्ट सहेजी न गई हो।

सेटिंगव्यवहार
डिफ़ॉल्ट सहेजे-चैट कैपप्रति खाता 50 सहेजी गई चैट
टोपी परनए चैट अभी भी चलते हैं, लेकिन अतिरिक्त वार्तालाप तब तक सहेजे नहीं जाते जब तक कि आप पुरानी चैट नहीं हटाते या उच्च सीमा का अनुरोध नहीं करते
सार्वजनिक एपीआईसहेजे गए चैट को सूचीबद्ध करने के लिए GET /v1/playground/conversations का उपयोग करें और एक लोड करने के लिए GET /v1/playground/conversations/\{id\} करें

Playground UI चैट हेडर में एक स्टेटस चिप भी दिखाता है:

चिपअर्थ
Savedनवीनतम व्यवस्थित मोड़ जारी है
Savingक्लाइंट 600 ms ऑटो-सेव डिबाउंस की प्रतीक्षा कर रहा है
Not savingखाता सहेजे-चैट कैप को हिट करता है, इसलिए नए मोड़ जारी रहते हैं लेकिन संग्रहीत नहीं होते हैं

सार्वजनिक रूप से सहेजा गया चैट एपीआई केवल पढ़ने के लिए है। चैट को सहेजना और हटाना अभी भी डैशबोर्ड में होता है खेल का मैदान.

विधिपथउद्देश्य
GET/v1/playground/conversationsसहेजे गए वार्तालापों की सूची बनाएं
GET/v1/playground/conversations/\{id\}संदेशों के साथ सहेजे गए एक वार्तालाप को लोड करें

दर सीमा व्यवहार

जब आप दर सीमा को पार कर जाते हैं, तो एपीआई एक 429 Too Many Requests प्रतिक्रिया देता है। पुन: प्रयास करते समय घबराहट के साथ घातीय बैकऑफ़ का उपयोग करें।

दर सीमाएं प्रति खाते लागू होती हैं, प्रति एपीआई कुंजी नहीं। एक ही खाते की सभी चाबियाँ समान RPM और TPM बजट साझा करती हैं।

उच्च सीमा का अनुरोध करना

यदि आपके कार्यभार को डिफ़ॉल्ट 50 RPM या 2M TPM से अधिक की आवश्यकता है, तो support@empiriolabs.ai को ईमेल करें:

  • आपका खाता ईमेल या खाता आईडी
  • आपको किन सीमाओं की आवश्यकता है और क्यों
  • अपेक्षित ट्रैफ़िक पैटर्न (पीक आरपीएम, औसत अनुरोध आकार)

सामान्य त्रुटियां

कोडअर्थ
missing_api_keyकोई वाहक टोकन प्रदान नहीं किया गया था।
invalid_api_keyटोकन विकृत, निष्क्रिय, समाप्त हो गया है, या नहीं मिला है।
insufficient_creditsएपीआई कॉल करने से पहले खाते को अधिक क्रेडिट की आवश्यकता होती है।
model_not_foundअनुरोधित मॉडल मौजूद नहीं है या उपलब्ध नहीं है।
rate_limit_exceededखाता अपनी RPM या TPM सीमा को पार कर गया है। बैकऑफ़ के साथ पुनः प्रयास करें।
gpu_limit_exceededखाता अपनी GPU Cloud सीमा तक पहुंच गया है। एक उदाहरण को नष्ट करें, GPU गिनती कम करें, या उच्च सीमा का अनुरोध करें।
agent_limit_reachedखाता अपनी होस्टेड-एजेंट सीमा तक पहुंच गया है। एक अप्रयुक्त एजेंट को नष्ट करें या उच्च सीमा का अनुरोध करें।
model_unavailableमॉडल का कार्यकर्ता अस्थायी रूप से ऑफ़लाइन है। शीघ्र ही पुन: प्रयास करें।
upstream_errorमॉडल प्रदाता ने एक त्रुटि दी है।