Kompatibilis AIBeállítási útmutató
Open AI kompatibilis API dokumentáció
Csatlakoztassa OpenAI SDK-ját cenzúrázatlan LLM végpontunkhoz az alap URL és az API-kulcs frissítésével. Megőrzi meglévő kódját, és helyettesíthető élményt kap helyi első vagy felhős folyamatokhoz.
- per 1M bemeneti token
- $0.15
- Kimeneti tokenek / 1M
- $0.50
- token kontextus
- 100,000
- próbacsomag egyenleg
- $0.50
- kérés percenként
- 300
Base URL és Hitelesítés
Kezdje az ügyfél konfigurálásával a helyes bázis URL és az API kulcs megadásával. A szolgáltatás https://api.compatibleaiopen.com/v1A kulcsot a dashboardon keresztül szerezheted meg Google vagy e-mail segítségével. A kulcs hitelesíti a kéréseket a végponthoz.
Első kérés
Küldjön egy szabványos chat completion kérést a uncensored model ID. Az API szöveg bemenetet fogad és szöveg kimenetet ad vissza. Állíthat paramétereket, mint például temperature vagy top_p. A kontextusablak összesen 100 000 token támogatását biztosítja a prompt és a kiegészítés számára.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK Integráció
A frissítése base_url paramétert az OpenAI Python kliensben. Ez lehetővé teszi, hogy ugyanazt a könyvtárat használd, amit már ismersz. A modell azonosítója változatlan marad uncensored. A streamelés és az eszközhasználat pontosan úgy működik, ahogy az OpenAI dokumentálja. Nem kell átírnia az alkalmazás logikáját.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK integráció
Konfigurálja a Node.js klienst az új alap URL-lel. Adja meg az API-kulcsot a környezet vagy a kliens inicializálásán keresztül. A végpont támogatja az összes standard paramétert. A hibák standard HTTP státuskódokat adnak vissza. Azonnal integrálhatja meglévő Express vagy serverless funkciókba.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Streamelési válaszok
Engedélyezze a streamelést úgy, hogy stream igazra. Az API Server-Sent Events (SSE) formátumban ad vissza. A token-használati adatok az utolsó chunkban jelennek meg. Ez csökkenti az észlelt késleltetést a felhasználók számára. A chunkokat fokozatosan elemezheti. A modell hosszú kontextusokat kezel tokenvesztés nélkül.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Limiterek és hibák
300 kérés per percre van korlátozva kulcsonként. A párhuzamos kérések száma kulcsonként 8-ban van korlátozva. A kérések törzse 8 MB alatt kell maradjon. A 401-es hiba érvénytelen kulcsot jelez. A 402-es hiba azt jelenti, hogy nincs egyenlege. A 429-es hiba az átfutási korlátozást jelzi. Az egyenleg sosem jár le. A hibák és elutasítások ingyenesek.
Gyakori kérdések
Ez egy valódi nyílt AI kompatibilis végpont?
Igen. A szabványos /v1/chat/completions elérési utat használja. Csak a base URL-t és a kulcsot kell módosítania. A válasz formátuma pontosan megegyezik az OpenAI-éval. Az eszközök és a streamelés azonosan működnek.
Mi történik, ha túllépem a sebességkorlátot?
429-es Too Many Requests státuskódot kapsz. A korlát percenként 300 kérés. Szükség esetén oszthatod a terhelést több kulcs között. Minden kulcs 8 párhuzamos kérést engedélyez.
A kontextusablak tartalmazza-e a kimenetet?
Igen. A 100,000 tokenes limit a promptot és a kiegészítést egyaránt lefedi. Kérésenként akár 16,000 token generálható. Ez lehetővé teszi a hosszú dokumentumelemzést vagy kódgenerálási feladatokat.