相容格式

LLMoxy 支援多種請求格式,已有應用通常只需要替換 Base URL 和 API Key 即可遷移。

OpenAI 相容

OpenAI SDK 配置:

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.LLMOXY_API_KEY,
  baseURL: "https://llmoxy.com/v1",
});
TS

主要路由:

路由用途
POST /v1/chat/completionsChat Completions。
POST /v1/completions舊文字補全。
POST /v1/responsesResponses API。
POST /v1/embeddingsEmbeddings。
POST /v1/images/generations圖像生成。
POST /v1/audio/transcriptions音訊轉錄。
POST /v1/audio/translations音訊翻譯。
POST /v1/audio/speech文字轉語音。
GET /v1/realtimeRealtime WebSocket。

Anthropic Messages

curl https://llmoxy.com/v1/messages \
  -H "x-api-key: <LLMOXY_API_KEY>" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-opus-5-5",
    "max_tokens": 256,
    "messages": [
      { "role": "user", "content": "Hello" }
    ]
  }'
BASH

Anthropic 路由接受 system、max_tokens、temperature、top_p、top_k、stop_sequences、tools、tool_choice、thinking、metadata.user_id 等欄位。

Gemini

curl "https://llmoxy.com/v1beta/models/gemini-4-argon:generateContent" \
  -H "x-goog-api-key: <LLMOXY_API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [{ "text": "Explain LLMoxy in one sentence." }]
      }
    ]
  }'
BASH

Gemini 風格模型列表可使用 GET /v1beta/models。

尚未實現的相容路由

當前 Relay 對以下 OpenAI 相容路由返回未實現:

  • POST /v1/images/variations
  • /v1/files
  • /v1/fine-tunes
  • DELETE /v1/models/{model}