兼容 AI设置指南
OpenAI 兼容 API 文档
通过更新基础 URL 和 API 密钥,将 OpenAI SDK 连接到我们的无审查 LLM 端点。保留现有代码,获得适用于本地优先或云管道的即插即用兼容体验。
- 每 1M 输入令牌
- $0.15
- 输出令牌 / 1M
- $0.50
- 令牌上下文
- 100,000
- 试用信用额度
- $0.50
- 每分钟请求数
- 300
基础 URL 和认证
首先使用正确的基础 URL 和 API 密钥配置您的客户端。该服务运行在 https://api.compatibleaiopen.com/v1. 您通过仪表板使用 Google 或电子邮件获取密钥。该密钥对端点的每次请求进行身份验证。
首次请求
使用 uncensored 模型 ID。API 接受文本输入并返回文本输出。您可以调整诸如 temperature 或 top_p. 上下文窗口支持提示和补全总共最多 100,000 token。
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
Python SDK 集成
更新 base_url 参数在 OpenAI Python 客户端中。这允许您使用已经熟悉的库。模型 ID 保持不变 uncensored. 流式传输和工具使用完全按照 OpenAI 的文档工作。您无需重写应用程序逻辑。
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Node SDK 集成
配置 Node.js 客户端使用新的 base URL。通过环境变量或客户端初始化传入您的 API 密钥。该端点支持所有标准参数。错误将返回标准的 HTTP 状态码。您可以立即将其集成到现有的 Express 或无服务器函数中。
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
流式响应
通过将 stream 设置为 true。API 返回服务器发送的事件 (SSE)。令牌使用数据出现在最后一个块中。这降低了用户的感知延迟。您可以增量解析块。该模型处理长上下文而不会丢失令牌。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
限制和错误
每个密钥每分钟限 300 次请求。每个密钥的并发请求上限为 8 个。请求体必须保持在 8 MB 以下。401 错误表示密钥无效。402 错误表示您没有余额。429 错误表示速率限制。额度永不过期。错误和拒绝免费。
常见问题
这是真正的 open AI 兼容端点吗?
是的。它使用标准的 /v1/chat/completions 路径。您只需更改 base URL 和 key 即可。响应格式与 OpenAI 完全匹配。工具和流式传输的工作方式完全相同。
如果我超出速率限制会怎样?
您收到 429 Too Many Requests 状态码。限制为每分钟 300 次请求。如有需要,您可以将负载分布在多个密钥上。每个密钥允许 8 个并发请求。
上下文窗口是否包含输出内容?
是的。100,000 token 的限制涵盖提示词和补全部分。每次请求最多可生成 16,000 token。这允许进行长文档分析或代码生成任务。