AI תואםמדריך התקנה
תיעוד API תואם Open AI
חברו את ה-SDK של OpenAI לנקודת הקצה של LLM ללא צנזורה שלנו על ידי עדכון כתובת ה-URL הבסיסית ומפתח ה-API. אתם שומרים על הקוד הקיים שלכם ומקבלים חוויה תואמת להחלפה מיידית לזרמים מקומיים או ענן.
- לכל 1M אסימוני קלט
- $0.15
- טוקני פלט / 1M
- $0.50
- הקשר אסימונים
- 100,000
- קרדיט ניסיוני
- $0.50
- בקשות לדקה
- 300
כתובת URL בסיסית ואימות
התחל בתצורת הלקוח עם כתובת הבסיס הנכונה ומפתח ה-API. השירות פועל ב https://api.compatibleaiopen.com/v1. אתה מקבל מפתח דרך לוח הבקרה באמצעות Google או דואר אלקטרוני. המפתח מאמת כל בקשה לנקודת הקצה.
בקשה ראשונה
שלח בקשת השלמת צ'אט סטנדרטית באמצעות uncensored מזהה המודל. ה-API מקלט קלט טקסט ומחזיר פלט טקסט. ניתן להתאים פרמטרים כמו temperature או top_p. חלון ההקשר תומך עד 100,000 טוקנים משולבים עבור קלט והשלמה.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
אינטגרציית SDK Python
עדכן את base_url פרמטר בלקוח הפיתון של OpenAI. זה מאפשר לך להשתמש בספרייה שכבר מכרת. מזהה המודל נשאר uncensored. סטרימינג ושימוש בכלים עובדים בדיוק כפי שמתועד עבור OpenAI. אין צורך לכתוב מחדש את לוגיקת האפליקציה שלכם.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
שילוב Node SDK
הגדר את לקוח Node.js עם כתובת הבסיס החדשה. העבר את מפתח ה-API שלך דרך המשתנה הסביבתי או את אתחול הלקוח. נקודת הקצה תומכת בכל הפרמטרים הסטנדרטיים. שגיאות מחזירות קודי סטטוס HTTP סטנדרטיים. אתה יכול לשלב זאת ביישומי Express או פונקציות ללא שרת מיד.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
תגובות בסטרימינג
אפשרו זרימה על ידי הגדרת stream כדי לקבל ערך true. ה-API מחזיר אירועים שנשלחים מהשרת (SSE). נתוני שימוש באסימונים מופיעים בחלק הסופי. זה מפחית את העיכוב התפסושי עבור משתמשים. ניתן לנתח חלקים באופן איקרמנטלי. המודל מטפל בהקשרים ארוכים ללא נפילת אסימונים.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
מגבלות ושגיאות
אתה מוגבל ל-300 בקשות לדקה לכל מפתח. בקשות מקבילות מוגבלות ל-8 לכל מפתח. גופי בקשות לא יכולים לעלות על 8 MB. שגיאת 401 מציינת מפתח לא תקין. שגיאת 402 משמעותה שאין לך אשראי. שגיאת 429 מסמנת הגבלת קצב. אשראי לא פג תוקף. שגיאות ודחיות הן בחינם.
שאלות נפוצות
האם זהו נקודת קצה אמיתית תואמת Open AI?
כן. הוא משתמש בנתיב הסטנדרטי /v1/chat/completions. אתה משנה רק את כתובת ה-URL הבסיסית והמפתח. פורמט התגובה תואם ל-OpenAI בדיוק. כלים ו-streaming עובדים באותו אופן.
מה קורה אם אעבור את מגבלת הקצב?
אתה מקבל קוד סטטוס 429 Too Many Requests. המגבלה היא 300 בקשות לדקה. ניתן לחלק את העומק בין מספר מפתחות אם נדרש. כל מפתח מאפשר 8 בקשות במקביל.
האם חלון ההקשר כולל את הפלט?
כן. מגבלת ה-100,000 הטוקנים מכסה גם את הפקודה וגם את התגובה. ניתן לייצר עד 16,000 טוקנים בכל בקשה. זה מאפשר ניתוח מסמכים ארוכים או משימות יצירת קוד.