模型路由
OpenRoute 提供两种模型路由选项。
自动路由器
自动路由器是一个特殊的模型 ID，您可以使用它根据您的提示在选定的高质量模型之间进行选择。
{
"model": "openroute/auto",
... // 其他参数
}生成的响应将把 model 设置为实际使用的模型。
models 参数
models 参数允许您在主模型的提供商宕机、受到速率限制或由于内容审核拒绝回复时自动尝试其他模型。
{
"models": ["anthropic/claude-3.5-sonnet", "gryphe/mythomax-l2-13b"],
... // 其他参数
}如果您选择的模型返回错误，OpenRoute 将尝试使用备用模型。如果备用模型宕机或返回错误，OpenRoute 将返回该错误。
默认情况下，任何错误都可能触发使用备用模型，包括上下文长度验证错误、过滤模型的审核标志、速率限制和停机时间。
请求使用最终使用的模型进行定价，该模型将在响应体的 model 属性中返回。
与 OpenAI SDK 一起使用
要在 OpenAI SDK 中使用 models 数组，请将其包含在 extra_body 参数中。在下面的示例中，将首先尝试 gpt-4o，然后按顺序尝试 models 数组作为备用。
import OpenAI from 'openai';
const openrouteClient = new OpenAI({
baseURL: 'https://www.openroute.cn/api/v1',
// API 密钥和头部
});
async function main() {
// @ts-expect-error
const completion = await openrouteClient.chat.completions.create({
model: 'openai/gpt-4o',
models: ['anthropic/claude-3.5-sonnet', 'gryphe/mythomax-l2-13b'],
messages: [
{
role: 'user',
content: '生命的意义是什么？',
},
],
});
console.log(completion.choices[0].message);
}
main();from openai import OpenAI
openai_client = OpenAI(
base_url="https://www.openroute.cn/api/v1",
api_key="<OPENROUTE_API_KEY>",
)
completion = openai_client.chat.completions.create(
model="openai/gpt-4o",
extra_body={
"models": ["anthropic/claude-3.5-sonnet", "gryphe/mythomax-l2-13b"],
},
messages=[
{
"role": "user",
"content": "生命的意义是什么？"
}
]
)
print(completion.choices[0].message.content)Last updated on