Kompatibel AIInstallationsguide
Open ai-kompatibel API-dokumentation
Anslut ditt OpenAI SDK till vår ocensurerade LLM-slutpunkt genom att uppdatera bas-URL:en och API-nyckeln. Du behåller din befintliga kod och får en drop-in-kompatibel upplevelse för lokala eller molnbaserade pipelines.
- per 1M inmatningstokens
- $0.15
- Utmatade tokens / 1M
- $0.50
- token-kontext
- 100,000
- testkredit
- $0.50
- begäranden per minut
- 300
Bas URL och autentisering
Konfigurera först din klient med korrekt bas-URL och API-nyckel. Tjänsten körs på https://api.compatibleaiopen.com/v1. Du erhåller en nyckel via kontrollpanelen med Google eller e-post. Nyckeln autentiserar varje begäran till slutpunkten.
Första förfrågan
Skicka en standardbegäran om chattkomplettering med hjälp av uncensored modell-ID. API:t accepterar textinmatning och returnerar textutdata. Du kan justera parametrar som temperature eller top_p. Kontextfönstret stöder upp till 100,000 token kombinerat för prompt och komplettering.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK-integration
Uppdatera den base_url parametern i OpenAI Python-klienten. Detta gör att du kan använda samma bibliotek du redan känner till. Modell-ID:et förblir uncensored. Strömning och verktygsanvändning fungerar exakt som dokumenterat för OpenAI. Du behöver inte skriva om din applikationslogik.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK-integration
Konfigurera Node.js-klienten med den nya bas-URL:en. Ange din API-nyckel via miljön eller klientinitieringen. Slutpunkten stödjer alla standardparametrar. Fel returnerar standard HTTP-statuskoder. Du kan integrera detta i befintliga Express- eller serverlösa funktioner omedelbart.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Strömningsresponser
Aktivera strömning genom att ställa in stream till true. API:et returnerar Server-Sent Events (SSE). Tokenanvändningsdata visas i den sista biten. Detta minskar den uppfattade latensen för användare. Du kan parsat bitar inkrementellt. Modellen hanterar långa kontexter utan att tappa tokens.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Begränsningar och fel
Du är begränsad till 300 förfrågningar per minut per nyckel. Parallella förfrågningar är begränsade till 8 per nyckel. Förfrågningsbodyn måste hålla sig under 8 MB. Ett 401-fel indikerar en ogiltig nyckel. Ett 402-fel betyder att du har ingen kredit. Ett 429-fel signalerar hastighetsbegränsning. Krediten löper aldrig ut. Fel och avslag är gratis.
Vanliga frågor
Är detta ett riktigt öppen AI-kompatibel endpoint?
Ja. Den använder standard sökvägen /v1/chat/completions. Du ändrar bara bas-URL:en och nyckeln. Svarsformatet matchar OpenAI exakt. Verktyg och streaming fungerar identiskt.
Vad händer om jag överskrider hastighetsbegränsningen?
Du får statuskoden 429 Too Many Requests. Gränsen är 300 begäranden per minut. Du kan fördela belastningen över flera nycklar vid behov. Varje nyckel tillåter 8 parallella begäranden.
Inkluderar kontextfönstret utmatningen?
Ja. Gränsen på 100 000 tokens täcker både prompten och kompletteringen. Du kan generera upp till 16 000 tokens per förfrågan. Detta möjliggör analys av långa dokument eller uppgifter för kodgenerering.