संगत AIसेटअप गाइड
ओपन एआई संगत API दस्तावेज़ीकरण
अपने OpenAI SDK को हमारे अनसेंसर्ड LLM एंडपॉइंट से कनेक्ट करें, बेस URL और API कुंजी को अपडेट करके। आप अपना मौजूदा कोड रखते हैं और स्थानीय-पहले या क्लाउड पाइपलाइनों के लिए ड्रॉप-इन संगत अनुभव प्राप्त करते हैं।
- प्रति 1M इनपुट टोकन
- $0.15
- आउटपुट टोकन / 1M
- $0.50
- टोकन संदर्भ
- 100,000
- ट्रायल क्रेडिट
- $0.50
- प्रति मिनट रिक्वेस्ट
- 300
बेस URL और प्रमाणीकरण
सही बेस यूआरएल और API कुंजी के साथ अपने क्लाइंट को कॉन्फ़िगर करके शुरू करें। सेवा चलती है https://api.compatibleaiopen.com/v1. आप डैशबोर्ड के माध्यम से Google या ईमेल का उपयोग करके एक कुंजी प्राप्त करते हैं। कुंजी एंडपॉइंट के प्रत्येक अनुरोध का प्रमाणीकरण करती है।
पहला अनुरोध
मॉडल ID का उपयोग करके एक मानक चैट पूर्णता अनुरोध भेजें uncensored मॉडल आईडी। API पाठ इनपुट स्वीकार करता है और पाठ आउटपुट लौटाता है। आप पैरामीटर जैसे कि temperature या top_p. कॉन्टेक्स्ट विंडो प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन तक का समर्थन करता है।
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK इंटीग्रेशन
अपडेट करें base_url पैरामीटर OpenAI Python क्लाइंट में। इससे आपको उसी लाइब्रेरी का उपयोग करने की अनुमति मिलती है जिससे आपको पहले से परिचित है। मॉडल ID अपरिवर्तित रहती है uncensoredस्ट्रीमिंग और टूल उपयोग OpenAI के लिए दस्तावेज़ीकृत के बिल्कुल समान काम करते हैं। आपको अपने एप्लिकेशन लॉजिक को फिर से लिखने की आवश्यकता नहीं है।
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK एकीकरण
Node.js क्लाइंट को नए बेस URL के साथ कॉन्फ़िगर करें। पर्यावरण या क्लाइंट प्रारंभिककरण के माध्यम से अपनी API कुंजी पास करें। एंडपॉइंट सभी मानक पैरामीटर का समर्थन करता है। त्रुटियां मानक HTTP स्टेटस कोड लौटाती हैं। आप इसे मौजूदा Express या सर्वरलेस फ़ंक्शन्स में तुरंत एकीकृत कर सकते हैं।
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
स्ट्रीमिंग रिस्पॉन्सेस
सेटिंग करके स्ट्रीमिंग सक्षम करें stream true पर सेट करें। API सर्वर-सेंट इवेंट्स (SSE) लौटाता है। टोकन उपयोग डेटा अंतिम चंक में दिखाई देता है। यह उपयोगकर्ताओं के लिए अनुपस्थित विलंबता को कम करता है। आप चंक को अंशिक रूप से पार्स कर सकते हैं। मॉडल लंबे संदर्भों को बिना टोकन गिराए संभालता है।
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
सीमाएं और त्रुटियां
आप प्रति कुंजी प्रति मिनट 300 अनुरोधों तक सीमित हैं। समवर्ती अनुरोध प्रति कुंजी 8 तक सीमित हैं। अनुरोध बॉडी 8 MB से नीचे रहनी चाहिए। 401 त्रुटि अमान्य कुंजी को संकेत देती है। 402 त्रुटि का अर्थ है कि आपके पास क्रेडिट नहीं है। 429 त्रुटि दर सीमा को संकेत देती है। क्रेडिट कभी समाप्त नहीं होता। त्रुटियां और अस्वीकृतियां मुफ्त हैं।
सामान्य प्रश्न
क्या यह एक सच्चा open AI संगत एंडपॉइंट है?
हाँ। यह मानक /v1/chat/completions पथ का उपयोग करता है। आप बस बेस यूआरएल और कुंजी बदलते हैं। प्रतिक्रिया प्रारूप OpenAI के बिल्कुल मेल खाता है। टूल्स और स्ट्रीमिंग समान रूप से काम करते हैं।
यदि रेट लिमिट से अधिक हो जाता हूँ तो क्या होता है?
आपको 429 Too Many Requests स्टेटस कोड मिलता है। लिमिट मिनट में 300 अनुरोध है। यदि आवश्यक हो तो भार को कई कुंजियों में वितरित कर सकते हैं। प्रत्येक कुंजी 8 एक साथ अनुरोधों की अनुमति देती है।
क्या कॉन्टेक्स्ट विंडो में आउटपुट शामिल है?
हाँ। 100,000 टोकन की सीमा प्रॉम्प्ट और कंप्लीशन दोनों को कवर करती है। आप प्रति अनुरोध 16,000 टोकन तक जनरेट कर सकते हैं। यह लंबे दस्तावेज़ विश्लेषण या कोड जनरेशन कार्यों के लिए अनुमति देता है।