AI KompatibelPanduan Penyiapan
Dokumentasi API kompatibel Open AI
Hubungkan SDK OpenAI Anda ke endpoint LLM tanpa sensor kami dengan memperbarui URL dasar dan kunci API. Anda mempertahankan kode yang ada dan mendapatkan pengalaman yang kompatibel langsung untuk pipeline lokal-first atau cloud.
- per 1M token input
- $0.15
- Token output / 1 juta
- $0.50
- konteks token
- 100,000
- kredit percobaan
- $0.50
- permintaan per menit
- 300
URL Dasar dan Autentikasi
Mulai dengan mengonfigurasi klien Anda dengan URL dasar dan kunci API yang benar. Layanan berjalan di https://api.compatibleaiopen.com/v1. Anda mendapatkan kunci melalui dasbor menggunakan Google atau email. Kunci ini mengautentikasi setiap permintaan ke endpoint.
Permintaan Pertama
Kirim permintaan penyelesaian chat standar menggunakan uncensored ID model. API menerima input teks dan mengembalikan output teks. Anda dapat menyesuaikan parameter seperti temperature atau top_p. Jendela konteks mendukung hingga 100.000 token gabungan untuk prompt dan penyelesaian.
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Integrasi SDK Python
Perbarui base_url parameter dalam klien Python OpenAI. Ini memungkinkan Anda menggunakan pustaka yang sudah Anda kenal. ID model tetap uncensored. Streaming dan penggunaan alat berfungsi persis seperti yang didokumentasikan untuk OpenAI. Anda tidak perlu menulis ulang logika aplikasi Anda.
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Integrasi SDK Node
Konfigurasi klien Node.js dengan URL dasar baru. Teruskan kunci API Anda melalui lingkungan atau inisialisasi klien. Endpoint mendukung semua parameter standar. Kesalahan mengembalikan kode status HTTP standar. Anda dapat mengintegrasikannya ke dalam fungsi Express atau serverless yang sudah ada segera.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Respons Streaming
Aktifkan streaming dengan mengatur stream ke true. API mengembalikan Server-Sent Events (SSE). Data penggunaan token muncul di potongan terakhir. Ini mengurangi latensi yang dirasakan bagi pengguna. Anda dapat menguraikan potongan secara inkremental. Model menangani konteks panjang tanpa kehilangan token.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Batas dan Error
Anda dibatasi hingga 300 permintaan per menit per kunci. Permintaan simultan dibatasi hingga 8 per kunci. Badan permintaan harus tetap di bawah 8 MB. Error 401 menunjukkan kunci yang tidak valid. Error 402 berarti Anda tidak memiliki kredit. Error 429 menandakan pembatasan laju. Kredit tidak pernah kedaluwarsa. Error dan penolakan gratis.
Pertanyaan umum
Apakah ini endpoint kompatibel open AI yang sesungguhnya?
Ya. Ini menggunakan jalur standar /v1/chat/completions. Anda hanya mengubah base URL dan kunci. Format respons cocok dengan OpenAI secara persis. Tools dan streaming berfungsi secara identik.
Apa yang terjadi jika saya melebihi batas laju?
Anda menerima kode status 429 Too Many Requests. Batasnya adalah 300 permintaan per menit. Anda dapat mendistribusikan beban kerja ke beberapa kunci jika diperlukan. Setiap kunci memungkinkan 8 permintaan bersamaan.
Apakah jendela konteks mencakup output?
Ya. Batas 100.000 token mencakup prompt dan penyelesaian. Anda dapat menghasilkan hingga 16.000 token per permintaan. Ini memungkinkan analisis dokumen panjang atau tugas generasi kode.