วิธีผสานรวมทางเลือก open router

ทำไมต้องเปลี่ยนจาก OpenRouter?

OpenRouter เป็นตัวรวมข้อมูลที่มีประสิทธิภาพ แต่แนะนำการนามธรรมที่ไม่จำเป็นเมื่อคุณต้องการเพียงโมเดลเฉพาะตัวเดียว ตรรกะการจัดเส้นทางเพิ่มเวลาแฝงและความซับซ้อนให้กับโซ่คำขอของคุณ คุณจ่ายเพื่อความสะดวกของโมเดลหลายตัว แม้ว่าคุณจะใช้เพียงตัวเดียว API โดยตรงกำจัดชั้นคนกลางนี้ ให้เวลาแฝงที่ต่ำกว่าและต้นทุนที่คาดการณ์ได้ โค้ดของคุณยังคงเรียบง่ายเพราะคุณสื่อสารโดยตรงกับเซิร์ฟเวอร์อนุมาน

ทำความเข้าใจทางเลือกของ open router

เอนด์พอยต์ที่เข้ากันได้กับ OpenAI จำลองโครงสร้างของ API ทางการของ OpenAI คุณส่งแพย์โหลด JSON ไปยัง /v1/chat/completions และรับคำตอบรูปแบบ JSON มาตรฐาน ความเข้ากันได้นี้หมายความว่าคุณสามารถเปลี่ยนผู้ให้บริการได้โดยไม่ต้องเขียนตรรกะแอปพลิเคชันใหม่ The base_url การเปลี่ยนแปลง แต่วิธีการใน SDK ยังคงเหมือนกัน วิธีการนี้เหมาะสำหรับระบบที่เน้นการทำงานในท้องถิ่น ซึ่งคุณอาจสลับระหว่าง llama.cpp และ vLLM ในภายหลัง คุณได้รับอินเทอร์เฟซที่สอดคล้องกันโดยไม่คำนึงถึงฮาร์ดแวร์พื้นฐาน ไม่ต้องจัดการตารางเปลี่ยนเส้นทางที่ซับซ้อน เพียงเส้นตรงไปยังโมเดล

ขั้นตอนที่ 1: รับคีย์ API ของคุณ

เริ่มต้นด้วยการสร้างบัญชีบนแดชบอร์ดของผู้ให้บริการ คุณสามารถสมัครโดยใช้บัญชี Google หรืออีเมลและรหัสผ่านแบบง่าย ไม่ต้องใช้หมายเลขโทรศัพท์ ซึ่งช่วยให้กระบวนการรวดเร็วและเป็นส่วนตัว หลังจากลงทะเบียนแล้ว ให้ไปที่หน้า "รับคีย์ API" ระบบจะสร้างคีย์เฉพาะทันที คัดลอกคีย์นี้เก็บไว้อย่างปลอดภัยเนื่องจากใช้สำหรับการตรวจสอบสิทธิ์คำขอของคุณ โดยค่าเริ่มต้นบัญชีของคุณจะมีคีย์ที่ใช้งานได้นี้เพียงคีย์เดียว หากคุณทำหาย ให้สร้างคีย์ใหม่เพื่อแทนที่ คีย์นี้คือสิ่งที่คุณต้องการเพื่อเริ่มส่งคำขอ

ขั้นตอนที่ 2: กำหนดค่า base url

ค้นหาส่วนการกำหนดค่าในแอปพลิเคชันของคุณ ค้นหาตัวแปรที่เก็บ URL พื้นฐานของ API อัปเดตเป็น https://api.compatibleaiopen.com/v1. URL นี้ชี้ไปยังจุดสิ้นสุดการอนุมาน (inference endpoint) โดยตรง ตรวจสอบให้แน่ใจว่าคุณลบเครื่องหมายทับท้าย (trailing slashes) ออกหาก SDK ของคุณไม่จัดการสิ่งนั้นโดยอัตโนมัติ การเปลี่ยนแปลงเพียงครั้งเดียวนี้จะเปลี่ยนเส้นทางคำขอการสนทนาทั้งหมดของคุณไปยังโมเดลแบบไม่เซ็นเซอร์ โครงสร้างโค้ดเดิมของคุณยังคงถูกต้อง API คาดหวังหัวข้อความมาตรฐานของ OpenAI ไม่จำเป็นต้องใช้หัวข้อความแบบกำหนดเอง ขั้นตอนนี้สำคัญมากเพื่อให้แน่ใจว่าคำขอของคุณไปถึงเซิร์ฟเวอร์ที่ถูกต้อง

ขั้นตอนที่ 3: อัปเดตไคลเอนต์ SDK ของคุณ

เฟรมเวิร์ก LLM ส่วนใหญ่ในปัจจุบันรองรับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI อัปเดตการเริ่มต้นไคลเอนต์โดยใช้ URL พื้นฐานและคีย์ API ใหม่ของคุณ ส่ง ID ของโมเดลเป็น uncensored. ไอดีนี้บอกเซิร์ฟเวอร์ว่าให้รันโมเดลเฉพาะใด คุณไม่จำเป็นต้องเปลี่ยนลายเซ็นของเมธอด (method signatures) SDK จะจัดการการแปลงสภาพ (serialization) และการแยกสภาพ (deserialization) ของ JSON โหมดสตรีมมิ่งและโหมดไม่สตรีมทำงานตรงตามที่เอกสารระบุ คุณสามารถใช้เครื่องมือที่คุ้นเคยเช่น LangChain หรือ LlamaIndex ได้ต่อไป การเปลี่ยนแปลงนี้โปร่งใสต่อตรรกะแอปพลิเคชันของคุณ ซึ่งช่วยลดเวลาในการทดสอบอย่างมีนัยสำคัญ

ขั้นตอนที่ 4: ทดสอบกับ chat completions

ส่งคำขอทดสอบแบบง่ายเพื่อตรวจสอบการเชื่อมต่อ ใช้ messages พารามิเตอร์พร้อมคำสั่งจากผู้ใช้ คำตอบควรประกอบด้วย content ช่องที่มีคำตอบจากโมเดล ตรวจสอบว่าโมเดลไม่ปฏิเสธพรอมต์เนื่องจากตัวกรองเนื้อหา โมเดล uncensored ได้รับการปรับแต่งสำหรับหัวข้อผู้ใหญ่ที่ถูกต้องตามกฎหมายและหัวข้อที่ถกเถกัน มันตอบตรงไปตรงมาโดยไม่มีการเลี่ยงคำตอบ ตรวจสอบการใช้โทเค็นในอ็อบเจกต์การตอบกลับ สิ่งนี้ยืนยันว่า API กำลังประมวลผลคำขอของคุณอย่างถูกต้อง ตอนนี้คุณสามารถรวมสิ่งนี้เข้ากับเวิร์กโฟลว์หลักของคุณได้

ขั้นตอนที่ 5: จัดการการตอบกลับแบบสตรีมมิ่ง

การสตรีมช่วยให้ประสบการณ์การใช้งานสำหรับคำตอบที่ยาวดีขึ้น เปิดใช้งาน stream พารามิเตอร์นี้ในคำขอของคุณ API ส่งคืนชิ้นส่วนข้อมูลผ่านเหตุการณ์ที่ส่งโดยเซิร์ฟเวอร์ (SSE) แต่ละชิ้นส่วนมีเดลตาบางส่วนของการตอบสนอง รวมเดลตาเหล่านี้เพื่อสร้างข้อความที่สมบูรณ์ ชิ้นส่วนสุดท้ายรวมถึงสถิติการใช้โทเค็นรวม สิ่งนี้ทำให้คุณสามารถแสดงความคืบหน้าแบบเรียลไทม์ได้ การสตรีมลดความล่าช้าที่รับรู้สำหรับผู้ใช้ สิ่งนี้จำเป็นสำหรับอินเทอร์เฟซแชท จัดการข้อผิดพลาดอย่างสุภาพหากการเชื่อมต่อหลุด

ขั้นตอนที่ 6: ตรวจสอบการใช้งาน token

ติดตามการบริโภค tokens ของคุณเพื่อจัดการต้นทุนได้อย่างมีประสิทธิภาพ API คิด $0.15 per 1M input tokens and $0.50 per 1M output tokens อัตราเหล่านี้โปร่งใสและใช้กับคำขอทั้งหมด ข้อผิดพลาดและการปฏิเสธไม่ใช้เครดิต ยอดคงเหลือแบบชำระเงินล่วงหน้าของคุณจะลดลงเฉพาะเมื่อมีการประมวลผล tokens ตรวจสอบ usage field in every response. Set up alerts if your usage exceeds a threshold. This helps you avoid unexpected charges. The credit never expires, so you can top up when needed.

ขั้นตอนที่ 7: แก้ไขข้อผิดพลาดทั่วไป

หากคุณได้รับข้อผิดพลาด 401 ให้ตรวจสอบคีย์ API และ URL พื้นฐาน ข้อผิดพลาด 429 หมายความว่าคุณได้เกินขีดจำกัดอัตรา 300 คำขอต่อนาที ตรวจสอบให้แน่ใจว่าคุณไม่ได้ส่งคำขอพร้อมกันมากกว่า 8 คำขอต่อคีย์ หากคำตอบว่างเปล่า ให้ตรวจสอบว่า ID ของโมเดลถูกตั้งค่าเป็น uncensored. ตรวจสอบขนาด body ของคำขอ; ต้องมีขนาดไม่เกิน 8 MB สำหรับปัญหาการสตรีม ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณจัดการ SSE ได้ถูกต้อง ทบทวนเอกสาร API สำหรับรหัสข้อผิดพลาดเฉพาะ ปัญหาส่วนใหญ่เกี่ยวข้องกับการกำหนดค่าและแก้ไขได้ง่าย