相容 AI設定指南
OpenAI 相容 API 文件
透過更新基礎 URL 與 API 金鑰,將您的 OpenAI SDK 連接至我們的無審查 LLM 端點。您將保留現有程式碼,並獲得適用於本地優先或雲端管線的無縫相容體驗。
- 每 1M 輸入權杖
- $0.15
- 輸出 token / 1M
- $0.50
- 權杖上下文
- 100,000
- 試用額度
- $0.50
- 每分鐘請求數
- 300
基礎 URL 與驗證
首先使用正確的基础 URL 和 API 金鑰配置您的客戶端。服務運行於 https://api.compatibleaiopen.com/v1. 您可透過儀表板使用 Google 或電子郵件取得金鑰。此金鑰用於驗證對該端點的每次請求。
首次請求
發送標準的聊天完成請求,使用 uncensored 模型 ID。API 接受文字輸入並回傳文字輸出。您可以調整如 temperature 或 top_p. 上下文視窗支援提示與補全合計最多 100,000 token。
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK 集成
更新 base_url 參數於 OpenAI Python 客戶端中。這使您能夠使用您已經熟悉的函式庫。模型 ID 保持為 uncensored. 串流和工具使用方式與 OpenAI 的文件完全一致。您無需重寫應用程式邏輯。
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK 整合
配置 Node.js 客戶端並使用新的 base URL。通過環境或客戶端初始化傳遞您的 API 金鑰。該端點支持所有標準參數。錯誤會返回標準 HTTP 狀態碼。您可以立即將其集成到現有的 Express 或無伺服器函數中。
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
串流回應
在請求主體中將 stream 設為 true。API 會傳回伺服器發送事件(SSE)。token 使用數據出現在最後一個區塊。這能降低使用者的感知延遲。你可以逐步解析區塊。模型處理長上下文時不會遺漏 token。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Limits and Errors
每支金鑰每分鐘限 300 次請求。每支金鑰的並行請求上限為 8 個。請求主體必須保持在 8 MB 以下。401 錯誤表示金鑰無效。402 錯誤表示您沒有信用額度。429 錯誤表示速率限制。信用額度永不過期。錯誤與拒絕免費。
常見問題
這是真正的 open AI 相容端點嗎?
是的。它使用標準的 /v1/chat/completions 路徑。您只需更改 base URL 和金鑰即可。回應格式與 OpenAI 完全一致。工具和串流功能運作方式完全相同。
如果我超出速率限制會發生什麼事?
您收到 429 Too Many Requests 狀態碼。限制為每分鐘 300 次請求。視需要可將負載分佈到多支金鑰。每支金鑰允許 8 個同時請求。
上下文視窗是否包含輸出內容?
是的。100,000 token 的限制涵蓋提示詞和補全內容。每次請求最多可生成 16,000 token。這允許進行長文件分析或程式碼生成任務。