Dokumentace API kompatibilního s OpenAI

Základní URL a ověření

Začněte nakonfigurovat klienta pomocí správné základní URL a API klíče. Služba běží na https://api.compatibleaiopen.com/v1. Klíč získáte přes ovládací panel pomocí Google nebo e-mailu. Klíč autentizuje každý požadavek na endpoint.

První požadavek

Odešlete standardní požadavek na dokončení chatu pomocí uncensored ID modelu. API přijímá textový vstup a vrací textový výstup. Můžete upravit parametry jako temperature nebo top_p. Kontextové okno podporuje až 100 000 tokenů combined pro prompt a dokončení.

Copycurl https://api.compatibleaiopen.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List three benefits of local inference"}]
  }'

Integrace Python SDK

Aktualizujte base_url parameter v klientské knihovně Python od OpenAI. To vám umožní použít stejnou knihovnu, kterou již znáte. ID modelu zůstává uncensored. Streamování a používání nástrojů fungují přesně podle dokumentace pro OpenAI. Nemusíte přepisovat logiku své aplikace.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Integrace SDK pro Node

Nastavte Node.js klienta s novou základní URL. Předáte svůj API klíč prostřednictvím prostředí nebo inicializace klienta. Endpoint podporuje všechny standardní parametry. Chyby vrací standardní kódy stavu HTTP. Můžete tuto integraci okamžitě začlenit do existujících funkcí Express nebo serverless.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamované odpovědi

Povolte streamování nastavením stream na true. API vrací Server-Sent Events (SSE). Data o využití tokenů se objeví v posledním chunku. To snižuje vnímanou latenci pro uživatele. Můžete parsovat chunky inkrementálně. Model zpracovává dlouhá kontextová okna bez ztráty tokenů.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limity a chyby

Na klíč máte limit 300 požadků za minutu. Souběžné požadky jsou omezeny na 8 na klíč. Těla požadků musí být menší než 8 MB. Chyba 401 označuje neplatný klíč. Chyba 402 znamená, že nemáte kredit. Chyba 429 signalizuje omezení rychlosti. Kredit nevyprší. Chyby a odmítnutí jsou zdarma.