AI ที่เข้ากันได้คู่มือการตั้งค่า
เอกสาร API ที่เข้ากันได้กับ Open ai
เชื่อมต่อ OpenAI SDK ของคุณกับเอนด์พอยต์ LLM แบบ uncensored ของเราโดยการอัปเดต URL พื้นฐานและคีย์ API คุณยังคงใช้โค้ดเดิมของคุณและได้รับประสบการณ์ที่เข้ากันได้แบบ drop-in สำหรับ pipeline ที่เน้น local-first หรือ cloud
- ต่อ 1M input tokens
- $0.15
- โทเค็นเอาต์พุต / 1M
- $0.50
- บริบทของโทเค็น
- 100,000
- เครดิตทดลองใช้
- $0.50
- คำขอต่อนาที
- 300
URL ฐานและการตรวจสอบสิทธิ์
เริ่มโดยการกำหนดค่าไคลเอนต์ของคุณด้วย URL พื้นฐานและคีย์ API ที่ถูกต้อง บริการทำงานที่ https://api.compatibleaiopen.com/v1.คุณได้รับคีย์ผ่านแดชบอร์ดโดยใช้ Google หรืออีเมล คีย์นี้ใช้สำหรับการตรวจสอบสิทธิ์ทุกคำขอไปยัง endpoint
คำขอครั้งแรก
ส่งคำขอ chat completion มาตรฐานโดยใช้ uncensored model ID API รับข้อความ input และส่งข้อความ output คุณสามารถปรับพารามิเตอร์เช่น temperature หรือ top_p. หน้าต่างบริบทรองรับได้สูงสุด 100,000 tokens รวมสำหรับ prompt และ completion
curl https://api.compatibleaiopen.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List three benefits of local inference"}]
}'
การผสานรวม SDK Python
อัปเดต base_url พารามิเตอร์นี้ในไคลเอนต์ Python ของ OpenAI สิ่งนี้ช่วยให้คุณใช้ไลบรารีที่คุณคุ้นเคยอยู่แล้ว รหัสโมเดลยังคงเป็น uncensored. การสตรีมและการใช้งานเครื่องมือทำงานตามที่เอกสารระบุสำหรับ OpenAI คุณไม่จำเป็นต้องเขียนลอจิกแอปพลิเคชันของคุณใหม่
from openai import OpenAI
client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
การผสานรวม Node SDK
กำหนดค่าไคลเอนต์ Node.js ด้วย URL พื้นฐานใหม่ ส่งคีย์ API ของคุณผ่านสภาพแวดล้อมหรือการเริ่มต้นไคลเอนต์ เอนด์พอยต์รองรับพารามิเตอร์มาตรฐานทั้งหมด ข้อผิดพลาดจะส่งรหัสสถานะ HTTP มาตรฐาน คุณสามารถผสานรวมสิ่งนี้เข้ากับ Express หรือฟังก์ชัน serverless ที่มีอยู่ได้ทันที
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
การตอบกลับแบบสตรีมมิ่ง
เปิดใช้งานการสตรีมโดยตั้งค่า stream ตั้งค่าเป็น true API จะส่ง Server-Sent Events (SSE) ข้อมูลการใช้งาน token จะปรากฏใน chunk สุดท้าย ซึ่งช่วยลดความล่าช้าที่ผู้ใช้รู้สึก คุณสามารถแยกวิเคราะห์ chunk แบบเพิ่มทีละส่วน โมเดลจัดการบริบทที่ยาวโดยไม่สูญเสีย token
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
ขีดจำกัดและข้อผิดพลาด
คุณจำกัดการใช้งานที่ 300 คำขอต่อนาทีต่อคีย์ คำขอพร้อมกันจำกัดไว้ที่ 8 คำขอต่อคีย์ ขนาด body ของคำขอต้องไม่เกิน 8 MB error 401 บ่งชี้ว่าคีย์ไม่ถูกต้อง error 402 หมายถึงคุณไม่มีเครดิต error 429 หมายถึงการจำกัดอัตรา เครดิตของคุณไม่มีวันหมดอายุ ข้อผิดพลาดและการปฏิเสธไม่เสียค่าใช้จ่าย
คำถามที่พบบ่อย
นี่คือเอนด์พอยต์ที่เข้ากันได้กับ open AI ที่แท้จริงหรือไม่?
ใช่ ใช้เส้นทางมาตรฐาน /v1/chat-completions คุณเพียงเปลี่ยน base URL และคีย์ รูปแบบการตอบกลับจะตรงกับ OpenAI อย่างแม่นยำ Tools และการสตรีมทำงานเหมือนกัน
เกิดอะไรขึ้นหากฉันเกินขีดจำกัดอัตราการใช้งาน?
คุณได้รับ status code 429 Too Many Requests ซึ่งขีดจำกัดคือ 300 คำขอต่อนาที คุณสามารถกระจายโหลดผ่านคีย์หลายรายการหากจำเป็น แต่ละคีย์อนุญาตให้คำขอพร้อมกันได้ 8 คำขอ
context window รวมถึง output หรือไม่?
ใช่ ขีดจำกัด 100,000 token ครอบคลุมทั้ง prompt และ completion คุณสามารถสร้างผลลัพธ์ได้สูงสุด 16,000 token ต่อคำขอ ซึ่งเอื้อต่อการวิเคราะห์เอกสารยาวหรืองานสร้างโค้ด