ड्रॉप-इन अनसेंसर्ड LLM
ओपन एआई संगत अनसेंसर्ड API
100k संदर्भ के साथ एक ओपन API एंडपॉइंट प्राप्त करें शून्य-अस्वीकृति सामग्री के लिए, base_url और कुली बदलने से आपका मौजूदा कोड अक्षत रहता है।
- 100,000 टोकन संदर्भ विंडो
- कोई मासिक सदस्यता शुल्क नहीं
- केवल क्रिप्टो टॉप-अप
एकल अनुरोध के साथ परीक्षण करें
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);मुख्य विशेषताएं
मानक एंडपॉइंट
POST /v1/chat/completions किसी भी OpenAI SDK क्लाइंट के साथ आउट-ऑफ-द-बॉक्स काम करता है।
अनकेंसरड आउटपुट
ओपन-वेट मॉडल कानूनी वयक्तिक, काल्पनिक या शोध विषयों के लिए अस्वीकारों के बिना उत्तर देता है।
स्ट्रीमिंग सपोर्ट
SSE स्ट्रीमिंग में सटीक बिलिंग के लिए अंतिम चंक में टोकन उपयोग डेटा शामिल होता है।
टूल यूज़ रेडी
फंक्शन कॉलिंग और JSON मोड tool_choice जैसे मानक पैरामीटर के माध्यम से सक्षम हैं।
पारदर्शी मूल्य निर्धारण
केवल वास्तविक टोकन के लिए भुगतान करें; त्रुटियां और अस्वीकृतियों के लिए शून्य क्रेडिट लागत होती है।
तुरंत एक्सेस
Google या ईमेल के माध्यम से बिना फ़ोन वेरिफिकेशन के तुरंत अपना API key प्राप्त करें।
सेटअप प्रक्रिया
अपनी कुंजी प्राप्त करें
Google या ईमेल से साइन अप करें और तुरंत अपनी सक्रिय API की प्राप्त करें।
कॉन्फ़िगरेशन अपडेट करें
अपने base_url को हमारे एंडपॉइंट पर बदलें और अपनी नई API की सेट करें।
अनुरोध भेजें
चैट पूर्णताओं एंडपॉइंट कॉल करें और तुरंत uncensored टेक्स्ट प्रतिक्रियाएं प्राप्त करें।
सामान्य उपयोग मामले
स्थानीय स्टैक इंटीग्रेशन
स्थानीय-पहली वर्कफ़्लो के लिए इस कम्पैटिबल API के साथ llama-server या vLLM एंडपॉइंट को बदलें।
Chatbot Pipelines
असीमित रोलप्ले या क्रिएटिव राइटिंग सत्रों के लिए SillyTavern जैसे टूल्स को कनेक्ट करें।
शोध इनजेस्टन
सामग्री फ़िल्टर के बिना 100k संदर्भ विंडो के भीतर बड़े दस्तावेज़ प्रक्रिया करें।
लागत-संवेदी स्केलिंग
मासिक शुल्क से बचें और उच्च-वॉल्यूम उपयोग के लिए क्रिप्टो बोनस के साथ टॉप-अप करें।
यह एक सामान्य विकल्प से कैसे भिन्न है
हम एकल, अनकैप्ड मॉडल को एक मानक एंडपॉइंट के माध्यम से प्रदान करते हैं, जटिल राउटर या मासिक सब्सक्रिप्शन से बचते हुए। सामान्य गेटवे के विपरीत, हम केवल वास्तविक टोकन उपयोग के लिए चार्ज करते हैं पारदर्शी प्रति-टोकन मूल्य निर्धारण के साथ।
| फीचर | सामान्य वैकल्पिक | हमारा |
|---|---|---|
| मूल्य निर्धारण | मासिक सब्सक्रिप्शन | प्रति टोकन भुगतान |
| Models | बहुत सारे, रूटेड | एक अनसेंसर्ड मॉडल |
| जटिलता | जटिल राउटर | ड्रॉप-इन कम्पैटिबल |
कौन इसका उपयोग करता है, वास्तविक स्थितियों में; और स्पष्ट रूप से यह किसके लिए NOT है
डेवलपर लोकल-फर्स्ट स्टैक्स के लिए uncensored LLM का उपयोग करते हैं जहाँ मानक रिफ्यूजल पाइपलाइनों को तोड़ देते हैं। अपना base_url बदलें और कोड रखें, भले ही आप llama-server से vllm में स्विच कर रहे हों। यह शोध, रचनात्मक लेखन और ऐप्स के लिए फिट बैठता है जिन्हें जटिल रूटर्स के बिना असीमित प्रतिक्रियाओं की आवश्यकता होती है। यह उन टीमों के लिए नहीं है जिन्हें इमेज जनरेशन, एम्बेडिंग्स या मल्टी-मॉडल रूटिंग की आवश्यकता है। इसका उपयोग तब करें जब आपको टेक्स्ट-ओनली टास्क के लिए एक एकल, सीधा एंडपॉइंट चाहिए।
ड्रॉप-इन open AI कम्पैटिबल इंटीग्रेशन
ड्रॉप-इन open AI कम्पैटिबल इंटीग्रेशन का मतलब है कि आप बेस यूआरएल और API की बदलते हैं, और फिर अपना मौजूदा कोड बिल्कुल वैसा ही रखते हैं।
मानक SDK स्वैप
औपचारिक OpenAI SDK को HTTPS://api.compatibleaiopen.com/v1 पर पॉइंट करें। आपको अपनी अनुरोध तर्क को संशोधित किए बिना एक सीधा चैट-कम्प्लीशंस एंडपॉइंट मिलता है।
स्थानीय स्टैक संगतता
यह API मानक OpenAI सर्वर इंटरफ़ेस की नकल करता है। आप बाद में llama.cpp या vLLm में स्विच कर सकते हैं जबकि क्लाइंट संरचना समान रहती है।
स्ट्रीमिंग सपोर्ट
स्ट्रीमिंग को सक्षम करें ताकि सर्वर-सेंट इवेंट्स प्राप्त हों। अंतिम चंक में सटीक बिलिंग ट्रैकिंग के लिए पूर्ण टोकन उपयोग डेटा होता है।
डेवलपर्स वास्तव में इस विषय के बारे में क्या पूछते हैं
क्या यह OpenAI के लिए एक ड्रॉप-इन प्रतिस्थापन है?
हाँ। अपना base_url को https://api.compatibleaiopen.com/v1 और आपकी API कुंजी। SDK कोड को समान रखें।
क्या यह स्ट्रीमिंग का समर्थन करता है?
हम सर्वर-सेंट इवेंट्स सपोर्ट करते हैं। टोकन उपयोग अंतिम चंक में दिखाई देता है।
लोकल टूल्स के बारे में?
वही /v1/chat/completions एंडपॉइंट स्ट्रक्चर जो llama-server प्रकट करता है।
यह SillyTavern और समान क्लाइंट्स के साथ काम करता है उन्हें हमारे URL की ओर इशारा करके।
टोकन अंकगणित के साथ लागत के उदाहरण
हमारी कीमत पारदर्शी है: $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन। त्रुटियाँ और अस्वीकृतियाँ मुफ्त हैं। एक सामान्य 20k प्रॉम्प्ट जिसमें 2k आउटपुट है, 22,000 टोकन का उपयोग करता है, जिसकी कुल लागत $0.0137 है। ट्रायल क्रेडिट ऐसे कई अनुरोधों को कवर करता है। आप अंतिम स्ट्रीमिंग चंक में सटीक टोकन गणना देख सकते हैं। यह भविष्यवाणी योग्य मीटरिंग आपको छिपे सदस्यता शुल्क के बिना सटीक बजट बनाने में मदद करता है।
प्रदाता चुनने के लिए चेकलिस्ट
संयोजन से पहले एंडपॉइंट संगतता की पुष्टि करें। हमारा API मानक /v1/chat/completions पथ, इसलिए आपको केवल बेस यूआरएल और कुई बदलने की आवश्यकता है। टोकन मूल्य निर्धारण पारदर्शिता की जाँच करें; हम 1M इनपुट टोकन प्रति $0.15 और 1M आउटपुट टोकन प्रति $0.50 चार्ज करते हैं, कोई छिपा शुल्क नहीं। सुनिश्चित करें कि अनसेंसर्ड मॉडल आपकी उपयोग स्थिति के लिए उपयुक्त है, कुछ प्रॉम्प्ट का परीक्षण करके। भुगतान लचीलापन की पुष्टि करें हमारे केवल क्रिप्टो टॉप-अप के साथ, जो $20 से शुरू होता है। अंत में, 100,000 टोकन संदर्भ विंडो की जाँच करें कि यह आपके डेटा की आवश्यकताओं को पूरा करता है या नहीं।
सामान्य प्रश्न
ओपन एआई कम्पेटिबल API क्या है?
यह एक चैट एंडपॉइंट है जो मानक OpenAI SDK अनुरोधों को स्वीकार करता है। आप बेस यूआरएल और कुंजी बदलते हैं, फिर अपना मौजूदा कोड रखते हैं। यह एंडपॉइंट एक अनकैप्ड मॉडल प्रदान करता है जिसमें इंटीग्रेशन के लिए कोई जटिल रूटिंग या अतिरिक्त मध्यवर्ती सॉफ़्टवेयर की आवश्यकता नहीं होती है।
क्या यह स्ट्रीमिंग रिस्पॉन्सेज का समर्थन करता है?
हाँ, स्ट्रीमिंग सर्वर-सेंट इवेंट्स के माध्यम से समर्थित है। टोकन उपयोग विवरण अंतिम चंक में शामिल होते हैं। यह आपके एप्लिकेशन में रियल-टाइम टेक्स्ट रेंडरिंग की अनुमति देता है जबकि अधिकांश आधुनिक क्लाइंट लाइब्रेरी और फ्रेमवर्क द्वारा अपेक्षित मानक प्रतिक्रिया प्रारूप बनाए रखता है।
कॉन्टेक्स्ट विंडो का आकार क्या है?
संदर्भ विंडो प्रॉम्प्ट और कंप्लीशन दोनों के लिए 100,000 टोकन है। अधिकतम आउटपुट प्रति अनुरोध 16,000 टोकन है। यदि आप max_tokens सेट नहीं करते हैं, तो सीमा 2,048 टोकन पर डिफ़ॉल्ट हो जाती है। इससे लंबी वार्तालाप इतिहास संरक्षण की अनुमति मिलती है।
अपने खाते में क्रेडिट कैसे जोड़ें?
आप केवल क्रिप्टो का उपयोग करके टॉप अप करते हैं, विशेष रूप से TRC20 पर USDT या Base पर USDC। न्यूनतम राशियां $20 से शुरू होती हैं। बोनस क्रेडिट $50 से ऊपर लागू होता है। आपका भुगतान किया गया क्रेडिट कभी समाप्त नहीं होता है, इसलिए आप जब चाहें इसका उपयोग कर सकते हैं।
क्या कोई मुफ्त ट्रायल उपलब्ध है?
हाँ, हर नए खाते को $0.50 का ट्रायल क्रेडिट मिलता है। यह आपको API एंडपॉइंट का परीक्षण करने और अपने मौजूदा लोकल या क्लाउड स्टैक के साथ इंटीग्रेशन की पुष्टि करने की अनुमति देता है।
क्या फंक्शन कॉलिंग टूल्स का उपयोग किया जा सकता है?
हाँ, API टूल्स और tool_choice पैरामीटर के साथ फ़ंक्शन कॉलिंग का समर्थन करता है। आप response_format का उपयोग करके JSON मोड लागू कर सकते हैं। इससे आपके अनुप्रयोग वर्कफ़्लो के भीतर संरचित डेटा निष्कर्षण और टूल निष्पादन सक्षम होता है, बिना जटिल आउटपुट के लिए बाहरी पार्सिंग तर्क की आवश्यकता के।
