Документация по API, совместимому с Open AI

Базовый URL и аутентификация

Начните с настройки клиента с правильным базовым URL и API-ключом. Сервис работает по адресу https://api.compatibleaiopen.com/v1. Вы получаете ключ через панель управления, используя Google или email. Ключ аутентифицирует каждый запрос к эндпоинту.

Первый запрос

Отправьте стандартный запрос chat completion с помощью uncensored идентификатор модели. API принимает текстовый ввод и возвращает текстовый вывод. Вы можете настраивать параметры, такие как temperature или top_p. Контекстное окно поддерживает до 100,000 токенов в сумме для промпта и завершения.

Copycurl https://api.compatibleaiopen.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List three benefits of local inference"}]
  }'

Интеграция Python SDK

Update the base_url параметр в клиенте Python от OpenAI. Это позволяет вам использовать ту же библиотеку, которую вы уже знаете. Идентификатор модели остается uncensored. Потоковая передача и использование инструментов работают точно так же, как описано для OpenAI. Вам не нужно переписывать логику вашего приложения.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.compatibleaiopen.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Интеграция Node SDK

Настройте Node.js клиент с новым базовым URL. Передайте ваш API-ключ через окружение или инициализацию клиента. Конечный пункт поддерживает все стандартные параметры. Ошибки возвращают стандартные коды состояния HTTP. Вы можете интегрировать это в существующие Express или серверлесс-функции немедленно.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.compatibleaiopen.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковые ответы

Включите потоковую передачу, установив stream в true. API возвращает Server-Sent Events (SSE). Данные об использовании токенов появляются в последнем чанке. Это снижает воспринимаемую задержку для пользователей. Вы можете разбирать чанки инкрементально. Модель обрабатывает длинные контексты без потери токенов.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Лимиты и ошибки

Лимит составляет 300 запросов в минуту на один ключ. Одновременные запросы ограничены 8 на ключ. Размер тела запроса должен оставаться в пределах 8 МБ. Ошибка 401 указывает на недействительный ключ. Ошибка 402 означает отсутствие средств. Ошибка 429 сигнализирует о лимитировании частоты. Баланс никогда не истекает. Ошибки и отказы бесплатны.