AI tương thíchBài viết
Cách tích hợp một giải pháp thay thế OpenRouter
OpenRouter tổng hợp nhiều mô hình, nhưng bạn thường phải trả giá cho sự phức tạp đó khi chỉ cần một mô hình không kiểm duyệt thông qua một điểm cuối tiêu chuẩn. Chuyển sang một API tương thích OpenAI trực tiếp đơn giản hóa hệ thống của bạn bằng cách loại bỏ logic định tuyến và giảm độ trễ. Bạn giữ nguyên mã hiện có, chỉ thay đổi một URL cơ sở và nhận giá theo token minh bạch mà không cần đăng ký hàng tháng.
Cập nhật lần cuối
Tóm tắt
- Một giải pháp thay thế drop-in chỉ yêu cầu cập nhật URL cơ sở và khóa API trong SDK của bạn.
- Chi phí minh bạch ở mức $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra.
- Không có đăng ký hàng tháng hoặc phí ẩn; tín dụng chỉ được tính phí cho việc sử dụng token thực tế.
- Nạp tiền bằng tiền điện tử cung cấp tín dụng bonus cho các khoản gửi lớn.
Tại sao chuyển từ OpenRouter?
OpenRouter là một công cụ tổng hợp mạnh mẽ, nhưng nó giới thiệu sự trừu tượng không cần thiết khi bạn chỉ cần một mô hình cụ thể. Logic định tuyến thêm độ trễ và độ phức tạp vào chuỗi yêu cầu của bạn. Bạn trả tiền cho sự tiện lợi của nhiều mô hình, ngay cả khi bạn chỉ sử dụng một mô hình. Các API trực tiếp loại bỏ lớp trung gian này, mang lại độ trễ thấp hơn và chi phí dự đoán được. Mã của bạn vẫn đơn giản vì bạn đang giao tiếp trực tiếp với máy chủ suy luận.
Hiểu về giải pháp thay thế Open Router
Endpoint tương thích OpenAI mô phỏng cấu trúc của API OpenAI chính thức. Bạn gửi các tải trọng JSON đến /v1/chat/completions và nhận phản hồi JSON tiêu chuẩn. Sự tương thích này có nghĩa là bạn có thể thay đổi nhà cung cấp mà không cần viết lại logic ứng dụng của mình. Máy chủ base_url thay đổi, nhưng các phương thức SDK vẫn giống nhau. Cách tiếp cận này lý tưởng cho các ngăn xếp ưu tiên cục bộ nơi bạn có thể chuyển đổi giữa llama.cpp và vLLM sau này. Bạn có một giao diện nhất quán bất kể phần cứng nền tảng. Không cần quản lý bảng định tuyến phức tạp. Chỉ cần kết nối trực tiếp với mô hình.
Bước 1: Lấy khóa API của bạn
Bắt đầu bằng cách tạo tài khoản trên bảng điều khiển của nhà cung cấp. Bạn có thể đăng ký bằng tài khoản Google hoặc email và mật khẩu đơn giản. Không yêu cầu số điện thoại, giúp quy trình nhanh chóng và riêng tư. Sau khi đăng ký, hãy chuyển đến trang "Lấy khóa API". Hệ thống tạo khóa duy nhất ngay lập tức. Sao chép khóa này một cách an toàn; nó xác thực các yêu cầu của bạn. Theo mặc định, mỗi tài khoản chỉ có một khóa hoạt động. Nếu bạn làm mất khóa, hãy tạo khóa mới để thay thế. Khóa này là tất cả những gì bạn cần để bắt đầu gửi yêu cầu.
Bước 2: Cấu hình base url
Định vị phần cấu hình trong ứng dụng của bạn. Tìm biến chứa URL cơ sở API. Cập nhật nó thành https://api.compatibleaiopen.com/v1. URL này trỏ trực tiếp đến điểm cuối suy luận. Đảm bảo bạn loại bỏ bất kỳ dấu gạch chéo cuối nào nếu SDK của bạn không tự xử lý chúng. Thay đổi đơn lẻ này chuyển hướng tất cả các lệnh hoàn thành trò chuyện của bạn sang mô hình không kiểm duyệt. Cấu trúc mã hiện có của bạn vẫn hợp lệ. API yêu cầu các tiêu chuẩn OpenAI tiêu chuẩn. Không cần tiêu đề tùy chỉnh. Bước này rất quan trọng để đảm bảo các yêu cầu của bạn đến đúng máy chủ.
Bước 3: Cập nhật client SDK của bạn
Hầu hết các khung LLM hiện đại đều hỗ trợ các điểm cuối tương thích OpenAI. Hãy cập nhật khởi tạo client để sử dụng URL cơ sở và khóa API mới của bạn. Truyền ID mô hình dưới dạng uncensored. ID này cho máy chủ biết mô hình cụ thể nào cần chạy. Bạn không cần thay đổi các chữ ký phương thức. SDK xử lý việc tuần tự hóa và giải mã hóa JSON. Chế độ phát trực tiếp và không phát trực tiếp hoạt động chính xác như tài liệu mô tả. Bạn có thể tiếp tục sử dụng các công cụ quen thuộc như LangChain hoặc LlamaIndex. Quá trình chuyển đổi là trong suốt đối với logic ứng dụng của bạn. Điều này giảm đáng kể thời gian kiểm thử.
Bước 4: Kiểm tra với chat completions
Gửi một yêu cầu kiểm tra đơn giản để xác minh khả năng kết nối. Sử dụng messages tham số với lời nhắc của người dùng. Phản hồi nên chứa một content trường chứa câu trả lời của mô hình. Hãy kiểm tra xem mô hình có từ chối lời nhắc do bộ lọc nội dung hay không. Mô hình không kiểm duyệt được tinh chỉnh cho các chủ đề người trưởng thành hợp pháp và gây tranh cãi. Nó trả lời trực tiếp mà không có các lời nói vòng vo không cần thiết. Hãy xác minh việc sử dụng token trong đối tượng phản hồi. Điều này xác nhận rằng API đang xử lý yêu cầu của bạn một cách chính xác. Bạn bây giờ có thể tích hợp điều này vào quy trình làm việc chính của mình.
Bước 5: Xử lý phản hồi luồng
Streaming mang lại trải nghiệm người dùng tốt hơn cho các phản hồi dài. Bật stream tham số trong yêu cầu của bạn. API trả về các phần dữ liệu thông qua Sự kiện được gửi bởi máy chủ (SSE). Mỗi phần chứa một phần delta của phản hồi. Nối các phần delta này để tạo thành thông báo hoàn chỉnh. Phần cuối cùng bao gồm thống kê sử dụng token tổng cộng. Điều này cho phép bạn hiển thị tiến trình theo thời gian thực. Phát trực tuyến giảm độ trễ cảm nhận cho người dùng. Nó rất quan trọng cho các giao diện trò chuyện. Xử lý lỗi một cách duyên dáng nếu kết nối bị ngắt.
Bước 6: Theo dõi việc sử dụng token
Theo dõi mức tiêu thụ token để quản lý chi phí hiệu quả. API tính $0.15 per 1M input tokens and $0.50 per 1M output tokens. Những tỷ lệ này minh bạch và áp dụng cho tất cả các yêu cầu. Lỗi và từ chối không tiêu thụ tín dụng. Số dư trả trước của bạn chỉ giảm khi các token được xử lý. Theo dõi usage field trong mọi phản hồi. Thiết lập cảnh báo nếu mức sử dụng của bạn vượt quá một ngưỡng nhất định. Điều này giúp bạn tránh các khoản phí không mong muốn. Số dư không bao giờ hết hạn, vì vậy bạn có thể nạp thêm khi cần.
Bước 7: Khắc phục sự cố lỗi thường gặp
Nếu bạn nhận được lỗi 401, hãy kiểm tra khóa API và URL cơ sở của bạn. Lỗi 429 cho biết bạn đã vượt quá giới hạn tốc độ 300 yêu cầu mỗi phút. Đảm bảo bạn không gửi nhiều hơn 8 yêu cầu đồng thời mỗi khóa. Nếu phản hồi trống, hãy xác minh rằng ID mô hình được đặt thành uncensored. Kiểm tra kích thước thân yêu cầu; nó phải dưới 8 MB. Đối với các vấn đề về streaming, hãy đảm bảo máy khách của bạn xử lý SSE đúng cách. Xem lại tài liệu API về các mã lỗi cụ thể. Hầu hết các vấn đề liên quan đến cấu hình và dễ dàng khắc phục.
Các câu hỏi thường gặp
Đây có phải là dịch vụ chính thức của OpenAI không?
Không, đây là một dịch vụ độc lập cung cấp điểm cuối tương thích OpenAI. Nó cung cấp mô hình không kiểm duyệt riêng của mình, không phải GPT-4 hay GPT-3.5. Bạn có thể sử dụng nó với bất kỳ ứng dụng nào hỗ trợ định dạng API của OpenAI.
Kích thước context window là bao nhiêu?
Mô hình hỗ trợ cửa sổ ngữ cảnh 100.000 token, bao gồm cả prompt và completion. Giới hạn tối đa cho mỗi yêu cầu là 16.000 token, hoặc 2.048 token nếu bạn không chỉ định giới hạn.
Tôi có thể sử dụng đây cho nội dung NSFW không?
Đúng, mô hình không kiểm duyệt và không từ chối nội dung người trưởng thành hợp pháp. Mô hình được thiết kế đặc biệt cho việc tạo không giới hạn các chủ đề hư cấu, nghiên cứu bảo mật hoặc gây tranh cãi. Giới hạn cứng duy nhất là nội dung tình dục liên quan đến trẻ vị thành niên.
Tôi trả tiền cho API như thế nào?
Thanh toán được chấp nhận độc quyền qua tiền điện tử, cụ thể là USDT trên mạng TRC20 hoặc USDC trên mạng Base. Bạn có thể nạp bất kỳ số nguyên nào giữa $20 và $500. Tín dụng không bao giờ hết hạn, và lỗi miễn phí.
