创建聊天补全

为给定的聊天对话创建模型响应。

Authorization

AuthorizationBearer <token>

In: header

Request Body

modelstring

要使用的模型 ID。请参考模型端点兼容性表了解哪些模型适用于聊天 API。

messagesarray<ChatMessage>

包含到目前为止对话的消息列表。

timeout?number

补全请求的超时时间（秒）（默认为 600 秒）。

temperature?number

使用的采样温度，介于 0 和 2 之间。较高的值（如 0.8）会产生更随机的输出，而较低的值（如 0.2）会使输出更加专注和确定性。

Range0 <= value <= 2

top_p?number

使用温度的替代采样方法，称为核采样，模型考虑具有 top_p 概率质量的令牌结果。

Range0 <= value <= 1

n?integer

为每个输入消息生成的聊天补全选择数量。

Range1 <= value <= 128

stream?boolean

如果设置为 true，将发送部分消息增量。令牌将在可用时发送，流以 [DONE] 消息终止。

stream_options?object

流式响应选项。仅在设置 stream: true 时使用。

stop?string | array<string>

最多 4 个序列，API 将在这些序列处停止生成更多令牌。

max_completion_tokens?integer

补全可以生成的令牌数量的上限，包括可见输出令牌和推理令牌。

Range0 <= value

max_tokens?integer

聊天补全中要生成的最大令牌数。

Range0 <= value

presence_penalty?number

介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中是否出现过对其进行惩罚。

Range-2 <= value <= 2

frequency_penalty?number

介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中的现有频率对其进行惩罚。

Range-2 <= value <= 2

logit_bias?object

用于修改特定令牌在补全中出现的概率。

Empty Object

user?string

代表您最终用户的唯一标识符。这可以帮助 OpenAI 监控和检测滥用行为。

response_format?object

指定模型必须输出格式的对象。设置为 {"type": "json_object"} 可启用 JSON 模式。

seed?integer

此功能处于测试阶段。如果指定，我们的系统将尽力进行确定性采样，使得具有相同种子和参数的重复请求应返回相同结果。

tools?array<Tool>

模型可以调用的工具列表。目前，仅支持函数作为工具。

tool_choice?string | object

控制模型调用哪个（如果有）函数。none 表示模型不会调用函数，而是生成消息。auto 表示模型可以在生成消息或调用函数之间选择。

parallel_tool_calls?boolean

是否在工具使用期间启用并行函数调用。OpenAI 默认为 true。

logprobs?boolean

是否返回输出令牌的对数概率。如果为 true，则返回消息内容中每个输出令牌的对数概率。

top_logprobs?integer

0 到 5 之间的整数，指定在每个令牌位置返回的最可能令牌数量，每个都有相关的对数概率。如果使用此参数，必须将 logprobs 设置为 true。

Range0 <= value <= 5

deployment_id?string

模型的 Azure 特定部署 ID。

functions?array<Function>

模型可用于生成 JSON 输入的函数列表。（已弃用，推荐使用 tools）

function_call?string | object

控制模型如何响应函数调用。（已弃用，推荐使用 tool_choice）

base_url?string

您想要调用模型的 API 端点。

api_version?string

（Azure 特定）调用的 API 版本。

api_key?string

用于验证和授权请求的 API 密钥。

model_list?array<object>

API 基础 URL、密钥等的列表。

num_retries?integer

如果发生 APIError、TimeoutError 或 ServiceUnavailableError 时重试 API 调用的次数。

context_window_fallback_dict?object

如果由于上下文窗口错误导致调用失败时要使用的模型映射。

Empty Object

fallbacks?array<string>

如果初始调用失败时要使用的模型名称和参数列表。

metadata?object

进行调用时您希望记录的任何附加数据。

Empty Object

input_cost_per_token?number

补全调用中每个输入令牌的成本。

output_cost_per_token?number

补全调用中每个输出令牌的成本。

initial_prompt_value?string

在输入消息开头应用的初始字符串。

roles?object

指定如何根据通过消息传递的角色和消息格式化提示的字典。

Empty Object

final_prompt_value?string

在输入消息末尾应用的最终字符串。

bos_token?string

在序列开头应用的初始字符串。

eos_token?string

在序列末尾应用的初始字符串。

hf_model_name?string

（仅限 Sagemaker）模型的对应 huggingface 名称，用于为模型拉取正确的聊天模板。

headers?object

与请求一起发送的头部字典。

Empty Object

extra_headers?object

headers 的替代方案，用于在 LLM API 请求中发送额外的头部信息。

Empty Object

Response Body

curl -X POST "https://api.openroute.cn/v1/chat/completions" \  -H "Content-Type: application/json" \  -d '{    "model": "gpt-3.5-turbo",    "messages": [      {        "role": "user",        "content": "Hello!"      }    ],    "temperature": 1,    "max_tokens": 150,    "stream": false,    "response_format": {      "type": "json_object"    },    "tools": [      {        "type": "function",        "function": {          "name": "get_weather",          "description": "获取指定地点的当前天气",          "parameters": {            "type": "object",            "properties": {              "location": {                "type": "string",                "description": "城市和州，例如：San Francisco, CA"              }            },            "required": [              "location"            ]          }        }      }    ],    "tool_choice": "auto"  }'

Last updated on

创建聊天补全

为给定的聊天对话创建模型响应。

Authorization

AuthorizationBearer <token>

In: header

Request Body

modelstring

要使用的模型 ID。请参考模型端点兼容性表了解哪些模型适用于聊天 API。

messagesarray<ChatMessage>

包含到目前为止对话的消息列表。

timeout?number

补全请求的超时时间（秒）（默认为 600 秒）。

temperature?number

使用的采样温度，介于 0 和 2 之间。较高的值（如 0.8）会产生更随机的输出，而较低的值（如 0.2）会使输出更加专注和确定性。

Range0 <= value <= 2

top_p?number

使用温度的替代采样方法，称为核采样，模型考虑具有 top_p 概率质量的令牌结果。

Range0 <= value <= 1

n?integer

为每个输入消息生成的聊天补全选择数量。

Range1 <= value <= 128

stream?boolean

如果设置为 true，将发送部分消息增量。令牌将在可用时发送，流以 [DONE] 消息终止。

stream_options?object

流式响应选项。仅在设置 stream: true 时使用。

stop?string | array<string>

最多 4 个序列，API 将在这些序列处停止生成更多令牌。

max_completion_tokens?integer

补全可以生成的令牌数量的上限，包括可见输出令牌和推理令牌。

Range0 <= value

max_tokens?integer

聊天补全中要生成的最大令牌数。

Range0 <= value

presence_penalty?number

介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中是否出现过对其进行惩罚。

Range-2 <= value <= 2

frequency_penalty?number

介于 -2.0 和 2.0 之间的数字。正值会根据新令牌在文本中的现有频率对其进行惩罚。

Range-2 <= value <= 2

logit_bias?object

用于修改特定令牌在补全中出现的概率。

Empty Object

user?string

代表您最终用户的唯一标识符。这可以帮助 OpenAI 监控和检测滥用行为。

response_format?object

指定模型必须输出格式的对象。设置为 {"type": "json_object"} 可启用 JSON 模式。

seed?integer

此功能处于测试阶段。如果指定，我们的系统将尽力进行确定性采样，使得具有相同种子和参数的重复请求应返回相同结果。

tools?array<Tool>

模型可以调用的工具列表。目前，仅支持函数作为工具。

tool_choice?string | object

控制模型调用哪个（如果有）函数。none 表示模型不会调用函数，而是生成消息。auto 表示模型可以在生成消息或调用函数之间选择。

parallel_tool_calls?boolean

是否在工具使用期间启用并行函数调用。OpenAI 默认为 true。

logprobs?boolean

是否返回输出令牌的对数概率。如果为 true，则返回消息内容中每个输出令牌的对数概率。

top_logprobs?integer

0 到 5 之间的整数，指定在每个令牌位置返回的最可能令牌数量，每个都有相关的对数概率。如果使用此参数，必须将 logprobs 设置为 true。

Range0 <= value <= 5

deployment_id?string

模型的 Azure 特定部署 ID。

functions?array<Function>

模型可用于生成 JSON 输入的函数列表。（已弃用，推荐使用 tools）

function_call?string | object

控制模型如何响应函数调用。（已弃用，推荐使用 tool_choice）

base_url?string

您想要调用模型的 API 端点。

api_version?string

（Azure 特定）调用的 API 版本。

api_key?string

用于验证和授权请求的 API 密钥。

model_list?array<object>

API 基础 URL、密钥等的列表。

num_retries?integer

如果发生 APIError、TimeoutError 或 ServiceUnavailableError 时重试 API 调用的次数。

context_window_fallback_dict?object

如果由于上下文窗口错误导致调用失败时要使用的模型映射。

Empty Object

fallbacks?array<string>

如果初始调用失败时要使用的模型名称和参数列表。

metadata?object

进行调用时您希望记录的任何附加数据。

Empty Object

input_cost_per_token?number

补全调用中每个输入令牌的成本。

output_cost_per_token?number

补全调用中每个输出令牌的成本。

initial_prompt_value?string

在输入消息开头应用的初始字符串。

roles?object

指定如何根据通过消息传递的角色和消息格式化提示的字典。

Empty Object

final_prompt_value?string

在输入消息末尾应用的最终字符串。

bos_token?string

在序列开头应用的初始字符串。

eos_token?string

在序列末尾应用的初始字符串。

hf_model_name?string

（仅限 Sagemaker）模型的对应 huggingface 名称，用于为模型拉取正确的聊天模板。

headers?object

与请求一起发送的头部字典。

Empty Object

extra_headers?object

headers 的替代方案，用于在 LLM API 请求中发送额外的头部信息。

Empty Object

Response Body

curl -X POST "https://api.openroute.cn/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {
        "role": "user",
        "content": "Hello!"
      }
    ],
    "temperature": 1,
    "max_tokens": 150,
    "stream": false,
    "response_format": {
      "type": "json_object"
    },
    "tools": [
      {
        "type": "function",
        "function": {
          "name": "get_weather",
          "description": "获取指定地点的当前天气",
          "parameters": {
            "type": "object",
            "properties": {
              "location": {
                "type": "string",
                "description": "城市和州，例如：San Francisco, CA"
              }
            },
            "required": [
              "location"
            ]
          }
        }
      }
    ],
    "tool_choice": "auto"
  }'

curl -X POST "https://api.openroute.cn/v1/chat/completions" \  -H "Content-Type: application/json" \  -d '{    "model": "gpt-3.5-turbo",    "messages": [      {        "role": "user",        "content": "Hello!"      }    ],    "temperature": 1,    "max_tokens": 150,    "stream": false,    "response_format": {      "type": "json_object"    },    "tools": [      {        "type": "function",        "function": {          "name": "get_weather",          "description": "获取指定地点的当前天气",          "parameters": {            "type": "object",            "properties": {              "location": {                "type": "string",                "description": "城市和州，例如：San Francisco, CA"              }            },            "required": [              "location"            ]          }        }      }    ],    "tool_choice": "auto"  }'

Last updated on

创建聊天补全

Authorization

Request Body

Response Body

200

400

401

429