एक ओपन रूटर विकल्प को एकीकृत करें

OpenRouter से क्यों बदलें?

Open Router एक शक्तिशाली एग्रीगेटर है, लेकिन जब आपको केवल एक विशिष्ट मॉडल की आवश्यकता होती है तो यह अनावश्यक अमूर्तता पेश करता है। रूटिंग लॉजिक आपके अनुरोध श्रृंखला में विलंबता और जटिलता जोड़ता है। आप कई मॉडल्स की सुविधा के लिए भुगतान करते हैं, भले ही आप केवल एक का उपयोग करें। सीधे API इस मध्य परत को हटा देते हैं, जिससे आपको कम विलंबता और भविष्यवाणी योग्य लागत मिलती है। आपका कोड सरल रहता है क्योंकि आप सीधे इन्फ़रेंस सर्वर से बात कर रहे हैं।

OpenRouter विकल्प को समझना

एक OpenAI-संगत एंडपॉइंट आधिकारिक OpenAI API की संरचना की नकल करता है। आप JSON पेलोइड्स भेजते हैं /v1/chat/completions और मानक JSON प्रतिक्रियाएं प्राप्त करें। इस संगतता का अर्थ है कि आप बिना अपनी एप्लिकेशन लॉजिक को फिर से लिखे प्रदाता बदल सकते हैं। base_url बदलाव, लेकिन SDK विधियां समान रहती हैं। यह दृष्टिकोण लोकल-फर्स्ट स्टैक्स के लिए आदर्श है जहां आप llama.cpp और बाद में vLLM। आपको अंडरलाइंग हार्डवेयर के बावजूद एक स्थिर इंटरफ़ेस मिलता है। प्रबंधित करने के लिए कोई जटिल रूटिंग टेबल नहीं। बस मॉडल तक एक प्रत्यक्ष लाइन।

चरण 1: अपना API Key प्राप्त करें

प्रोवाइडर के डैशबोर्ड पर खाता बनाकर शुरू करें। आप अपने Google खाते या एक साधारण ईमेल और पासवर्ड का उपयोग करके साइन अप कर सकते हैं। फ़ोन नंबर की आवश्यकता नहीं है, जिससे प्रक्रिया तेज़ और निजी रहती है। रजिस्टर करने के बाद, "Get API key" पेज पर नेविगेट करें। सिस्टम तुरंत एक अनूठी कुली जनरेट करता है। अपनी कुली सुरक्षित रूप से कॉपी करें; यह आपके अनुरोधों को प्रमाणित करती है। डिफ़ॉल्ट रूप से, प्रति खाते केवल एक सक्रिय कुली होती है। यदि आप इसे खो देते हैं, तो इसे बदलने के लिए एक नई कुली जनरेट करें। शुरुआत करने के लिए आपको इस कुली की ही आवश्यकता है।

चरण 2: बेस यूआरएल कॉन्फ़िगर करें

अपनी एप्लिकेशन में कॉन्फ़िगरेशन सेक्शन खोजें। उस चर को खोजें जो API बेस यूआरएल रखता है। इसे अपडेट करें https://api.compatibleaiopen.com/v1. यह URL सीधे इन्फरेंस एंडपॉइंट की ओर इशारा करता है। सुनिश्चित करें कि यदि आपका SDK उन्हें स्वचालित रूप से संभाल नहीं लेता है, तो आप सभी ट्रेलिंग स्लैश हटा दें। यह एकमात्र बदलाव आपके सभी चैट पूरक को अनसेंसर्ड मॉडल की ओर रीडायरेक्ट करता है। आपका मौजूदा कोड संरचना मान्य रहता है। API मानक OpenAI हेडर की उम्मीद करता है। कस्टम हेडर की आवश्यकता नहीं है। यह कदम सुनिश्चित करने के लिए महत्वपूर्ण है कि आपकी अनुरोध सही सर्वर तक पहुंचें।

चरण 3: अपनी SDK क्लाइंट अपडेट करें

अधिकांश आधुनिक LLM फ्रेमवर्क OpenAI-संगत एंडपॉइंट का समर्थन करते हैं। अपने नए बेस यूआरएल और API कुंजी का उपयोग करने के लिए क्लाइंट इनिशियलाइज़ेशन अपडेट करें। मॉडल ID को पास करें uncensored. यह ID सर्वर को बताता है कि कौन सा विशिष्ट मॉडल चलाना है। आपको विधि हस्ताक्षरों को बदलने की आवश्यकता नहीं है। SDK JSON के सीरियलाइजेशन और डीसीरियलाइजेशन को संभालता है। स्ट्रीमिंग और नॉन-स्ट्रीमिंग मोड दस्तावेज़ीकरण के अनुसार बिल्कुल वैसे ही काम करते हैं। आप LangChain या LlamaIndex जैसे परिचित टूल्स का उपयोग जारी रख सकते हैं। संक्रमण आपके एप्लिकेशन लॉजिक के लिए पारदर्शी है। इससे परीक्षण का समय काफी कम हो जाता है।

चरण 4: चैट पूरक के साथ परीक्षण करें

कनेक्टिविटी की पुष्टि करने के लिए एक सरल परीक्षण अनुरोध भेजें। Use the messages पैरामीटर यूजर प्रॉम्प्ट के साथ। प्रतिक्रिया में एक content मॉडल के उत्तर के साथ फ़ील्ड। जांचें कि मॉडल सामग्री फ़िल्टर के कारण प्रॉम्प्ट को अस्वीकार तो नहीं कर रहा है। uncensored मॉडल कानूनी वयस्क और विवादास्पद विषयों के लिए ट्यून्ड है। यह बिना अनावश्यक सावधानी के सीधे उत्तर देता है। प्रतिक्रिया ऑब्जेक्ट में टोकन उपयोग की जांच करें। यह पुष्टि करता है कि API आपका अनुरोध सही ढंग से प्रोसेस कर रहा है। अब आप इसे अपने मुख्य वर्कफ़्लो में एकीकृत कर सकते हैं।

चरण 5: स्ट्रीमिंग रिस्पॉन्स हैंडल करें

स्ट्रीमिंग लंबे उत्तरों के लिए बेहतर उपयोगकर्ता अनुभव प्रदान करता है। सक्षम करें stream पैरामीटर अपने अनुरोध में। API सर्वर-सेंट इवेंट्स (SSE) के माध्यम से डेटा के चंक लौटाता है। प्रत्येक चंक में प्रतिक्रिया का आंशिक डेल्टा होता है। पूर्ण संदेश बनाने के लिए इन डेल्टा को संयोजित करें। अंतिम चंक में कुल टोकन उपयोग सांख्यिकी शामिल होती है। इससे आप रियल-टाइम में प्रगति प्रदर्शित कर सकते हैं। स्ट्रीमिंग उपयोगकर्ताओं के लिए अनुभूत विलंबता को कम करती है। यह चैट इंटरफ़ेस के लिए आवश्यक है। यदि कनेक्शन टूट जाता है तो त्रुटियों को सहजता से संभालें।

चरण 6: टोकन उपयोग की निगरानी करें

लागतों को प्रभावी ढंग से प्रबंधित करने के लिए अपने टोकन उपभोग को ट्रैक करें। API $0.15 per 1M इनपुट टोकन और $0.50 per 1M आउटपुट टोकन। ये दरें पारदर्शी हैं और सभी अनुरोधों पर लागू होती हैं। त्रुटियां और अस्वीकृतियां क्रेडिट नहीं खातीं। आपका प्रीपेड बैलेंस केवल तभी कम होता है जब टोकन प्रोसेस किए जाते हैं। usage field हर प्रतिक्रिया में। यदि आपका उपयोग एक थ्रेशोल्ड से अधिक हो जाता है तो अलर्ट सेट करें। यह आपको अप्रत्याशित चार्ज से बचने में मदद करता है। क्रेडिट कभी समाप्त नहीं होता, इसलिए आप जब चाहें टॉप-अप कर सकते हैं।

चरण 7: सामान्य एरर्स ट्राबलशूट करें

यदि आपको 401 त्रुटि प्राप्त होती है, तो अपनी एपीआई कुंजी और बेस यूआरएल की जांच करें। 429 त्रुटि संकेत देती है कि आपने प्रति मिनट 300 अनुरोधों की दर सीमा को पार कर लिया है। सुनिश्चित करें कि आप प्रति कुंजी 8 समानांतर अनुरोधों से अधिक नहीं भेज रहे हैं। यदि प्रतिक्रिया खाली है, तो सत्यापित करें कि मॉडल आईडी सेट है uncensored. अनुरोध बॉडी आकार की जांच करें; यह 8 MB से कम होना चाहिए। स्ट्रीमिंग समस्याओं के लिए, सुनिश्चित करें कि आपका क्लाइंट SSE को सही ढंग से संभालता है। विशिष्ट त्रुटि कोडों के लिए API दस्तावेज़ीकरण की समीक्षा करें। अधिकांश समस्याएं कॉन्फ़िगरेशन से संबंधित होती हैं और आसानी से ठीक की जा सकती हैं।