Yhteensopiva AIAsennusopas
Open ai yhteensopiva API-dokumentaatio
Yhdistä OpenAI SDK:si sensuroimattomaan LLM-päätepisteeseemme päivittämällä base URL ja API-avain. Säilytät olemassa olevan koodisi ja saat suoraan yhteensopivan kokemuksen paikallis- tai pilvipohjaisiin putkiin.
- per 1M syöttötunniste
- $0.15
- Tulostustokenit / 1M
- $0.50
- tunniste-ympäristö
- 100,000
- kokeilusaldo
- $0.50
- pyyntöä minuutissa
- 300
Perus-URL ja todennus
Aloita määrittämällä asiakasohjelmasi oikealla base URL -osoitteella ja API-avaimella. Palvelu toimii osoitteessa https://api.compatibleaiopen.com/v1. Saat avaimen hallintapaneelin kautta Google- tai sähköpostitilin avulla. Avain todentaa jokaisen pyynnön päätepisteelle.
Ensimmäinen pyyntö
Lähetä tavallinen chat-valmiuspyyntö käyttäen uncensored malli-ID. API hyväksyy tekstisisäntöön ja palauttaa tekstituloksen. Voit säätää parametreja kuten temperature tai top_p. Kontekstityöpöytä tukee yhteensä enintään 100 000 tokenia syötteelle ja täydennykselle.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK -integraatio
Päivitä base_url parametri OpenAI:n Python-asiakkaassa. Tämä mahdollistaa saman kirjaston käytön, jonka jo tunnet. Mallin ID pysyy uncensored. Streamaus ja työkalujen käyttö toimivat täsmälleen OpenAI-dokumentaation mukaisesti. Sinun ei tarvitse kirjoittaa sovelluslogiikkaasi uudelleen.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK -integraatio
Määritä Node.js-asiakas uudella base URLilla. Anna API-avaimesi ympäristön tai asiakkaan alustuksen kautta. Päätepiste tukee kaikkia vakio parametreja. Virheet palauttavat vakiot HTTP-tilakoodit. Voit integroida tämän olemassa oleviin Express- tai serverlesstoimintofunktioihin välittömästi.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Streamausvastaukset
Ota streamaus käyttöön asettamalla stream arvoon true. API palauttaa palvelimen lähettämiä tapahtumia (SSE). Token-käytön tiedot ilmestyvät viimeisessä lohkossa. Tämä vähentää koettua viivettä käyttäjille. Voit jäsentää lohkoja askel askeleelta. Malli käsittelee pitkät kontekstit pudottamatta token.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Rajoitukset ja virheet
Sinulla on rajoitus 300 pyyntöä minuutissa avainta kohden. Samanaikaisten pyyntöjen maksimimäärä on 8 avainta kohden. Pyyntörungon koko pysyttävä alle 8 megatavun. 401-virhe viittaa virheelliseen avaimeseen. 402-virhe tarkoittaa, että sinulla ei ole krediittia. 429-virhe merkitsee nopeusrajoitusta. Krediitti ei vanhene. Virheet ja hylkäykset ovat ilmaisia.
Yleiset kysymykset
Onko tämä aito open AI -yhteensopuva päätepiste?
Kyllä. Se käyttää standardia /v1/chat/completions -polkua. Muutat vain base URL -arvon ja avaimen. Vastauksen muotoilu vastaa täsmälleen OpenAI:n vastausta. Työkalut ja streamaus toimivat täysin samoin.
Mitä tapahtuu, jos ylityt nopeusrajan?
Saat statuskoodin 429 Too Many Requests. Rajoituksena on 300 pyyntöä minuutissa. Voit jakaa kuormaa useiden avainten kesken tarvittaessa. Jokainen avain sallii 8 samanaikaista pyyntöä.
Sisältyykö konteksti-ikkunaan myös tuotos?
Kyllä. 100 000 tokenin raja kattaa sekä syötteen että täydennyksen. Voit generoida enintään 16 000 tokenia pyyntöä kohden. Tämä mahdollistaa pitkien asiakirjojen analyysin tai koodigenerointitehtävät.