Kompatibel AIOpsætningsguide
Open ai kompatibel API-dokumentation
Forbind dit OpenAI SDK til vores uncensored LLM-endpoint ved at opdatere base URL og API-nøgle. Du beholder din eksisterende kode og får en drop-in kompatibel oplevelse til lokal-første eller cloud-pipelines.
- pr. 1M input-tokens
- $0.15
- Output-tokens / 1M
- $0.50
- token-kontekst
- 100,000
- prøvekredit
- $0.50
- anmodninger i minuttet
- 300
Base URL og autentificering
Konfigurer først din klient med den korrekte base URL og API-nøgle. Tjenesten kører til https://api.compatibleaiopen.com/v1. Du opnår en nøgle via dashboardet ved hjælp af Google eller e-mail. Nøglen autentificerer hver anmodning til endpointet.
Første anmodning
Send en standard chat-completions-anmodning ved hjælp af uncensored model-ID. API'et accepterer tekstinput og returnerer tekstoutput. Du kan justere parametre som temperature eller top_p. Kontekstvinduet understøtter op til 100.000 tokens kombineret for prompt og completion.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK-integration
Opdater den base_url parameter i OpenAI Python-klienten. Dette giver dig mulighed for at bruge den samme bibliotek, du allerede kender. Model-ID'et forbliver uncensored. Streaming og værktøjsbrug fungerer præcis som dokumenteret for OpenAI. Du behøver ikke at omskrive din applikationslogik.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK-integration
Konfigurér Node.js-klienten med den nye base URL. Overfør din API-nøgle via miljøet eller klientinit. Endpointet understøtter alle standardparametre. Fejl returnerer standard HTTP-statuskoder. Du kan integrere dette i eksisterende Express- eller serverløse funktioner med det samme.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Streaming-svar
Aktivér streaming ved at indstille stream til true. API'et returnerer Server-Sent Events (SSE). Tokenforbrugsdata vises i den sidste chunk. Dette reducerer den opfattede latens for brugere. Du kan parsere chunks inkrementelt. Modellen håndterer lange kontekster uden at droppe tokens.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Limits and Errors
Du er begrænset til 300 anmodninger i minuttet pr. nøgle. Samtidige anmodninger er begrænset til 8 pr. nøgle. Anmodningskroppe skal holdes under 8 MB. En 401-fejl indikerer en ugyldig nøgle. En 402-fejl betyder, at du har ingen kredit. En 429-fejl signalerer hastedsbegrænsning. Kredit udløber aldrig. Fejl og afslag er gratis.
Almindelige spørgsmål
Er dette en ægte open AI-kompatibel endpoint?
Ja. Den bruger standard /v1/chat/completions-stien. Du ændrer kun base URL og nøgle. Svarsformatet matcher OpenAI præcist. Værktøjer og streaming fungerer identisk.
Hvad sker der, hvis jeg overskrider hastedsbegrænsningen?
Du modtager en 429 Too Many Requests-statuskode. Grænsen er 300 anmodninger i minuttet. Du kan fordele belastningen på tværs af flere nøgler, hvis det er nødvendigt. Hver nøgle tillader 8 samtidige anmodninger.
Inkluderer kontekstvinduet outputtet?
Ja. Grænsen på 100,000 tokens dækker både prompt og completion. Du kan generere op til 16,000 tokens pr. anmodning. Dette muliggør analyse af lange dokumenter eller opgaver til kodegenerering.