BYOK

自带 API 密钥

OpenRoute 支持 OpenRoute 积分和自带提供商密钥 (BYOK) 选项。

当您使用 OpenRoute 积分时，每个提供商的速率限制由 OpenRoute 管理。

使用提供商密钥可以通过您的提供商账户直接控制速率限制和成本。

您的提供商密钥经过安全加密，用于通过指定提供商路由的所有请求。

在您的账户设置中管理密钥。

在 OpenRoute 上使用自定义提供商密钥会产生相对于 OpenRoute 上相同模型/提供商正常成本的小额百分比费用，从您的 OpenRoute 积分中扣除。每月初始分配的 BYOK 请求免收此费用。

密钥优先级和故障转移

OpenRoute 在可用时总是优先使用您的提供商密钥。默认情况下，如果您的密钥遇到速率限制或失败，OpenRoute 将回退到使用共享的 OpenRoute 积分。

您可以配置单个密钥为"始终使用此密钥"以防止任何回退到 OpenRoute 积分。启用此选项后，OpenRoute 将仅使用您的密钥处理该提供商的请求，如果您的密钥耗尽可能会导致速率限制错误，但确保所有请求都通过您的账户。

Azure API 密钥

要在 OpenRoute 中使用 Azure AI 服务，您需要以 JSON 格式提供您的 Azure API 密钥配置。每个密钥配置需要以下字段：

{
  "model_slug": "the-openroute-model-slug",
  "endpoint_url": "https://<resource>.services.ai.azure.com/deployments/<model-id>/chat/completions?api-version=<api-version>",
  "api_key": "your-azure-api-key",
  "model_id": "the-azure-model-id"
}

您可以在 Azure AI 服务资源中找到这些值：

endpoint_url：在 Azure 门户中导航到您的 Azure AI 服务资源。在"概述"部分，您会找到您的端点 URL。确保在基础 URL 后添加 /chat/completions。您可以在 Azure Foundry 文档中了解更多信息。
api_key：在 Azure AI 服务资源的同一"概述"部分，您可以在"密钥和端点"下找到您的 API 密钥。
model_id：这是您在 Azure AI 服务中的模型部署名称。
model_slug：这是您要使用此密钥的 OpenRoute 模型标识符。

由于 Azure 支持多个模型部署，您可以为不同模型提供配置数组：

[
  {
    "model_slug": "mistralai/mistral-large",
    "endpoint_url": "https://example-project.openai.azure.com/openai/deployments/mistral-large/chat/completions?api-version=2024-08-01-preview",
    "api_key": "your-azure-api-key",
    "model_id": "mistral-large"
  },
  {
    "model_slug": "openai/gpt-4o",
    "endpoint_url": "https://example-project.openai.azure.com/openai/deployments/gpt-4o/chat/completions?api-version=2024-08-01-preview",
    "api_key": "your-azure-api-key",
    "model_id": "gpt-4o"
  }
]

确保将 URL 替换为您自己的项目 URL。URL 应该以 /chat/completions 结尾，并带有您要使用的 API 版本。

AWS Bedrock API 密钥

要在 OpenRoute 中使用 Amazon Bedrock，您可以使用 Bedrock API 密钥或传统 AWS 凭据进行身份验证。

选项 1：Bedrock API 密钥（推荐）

Amazon Bedrock API 密钥提供更简单的身份验证方法。只需将您的 Bedrock API 密钥作为字符串提供：

your-bedrock-api-key-here

注意： Bedrock API 密钥绑定到特定的 AWS 区域，不能用于更改区域。如果您需要在不同区域使用模型，请使用下面的 AWS 凭据选项。

您可以在 AWS 管理控制台中生成 Bedrock API 密钥。在 Amazon Bedrock API 密钥文档中了解更多信息。

选项 2：AWS 凭据

或者，您可以使用 JSON 格式的传统 AWS 凭据。此选项允许您指定区域并提供更多灵活性：

{
  "accessKeyId": "your-aws-access-key-id",
  "secretAccessKey": "your-aws-secret-access-key",
  "region": "your-aws-region"
}

您可以在 AWS 账户中找到这些值：

accessKeyId：这是您的 AWS 访问密钥 ID。您可以在 AWS 管理控制台的"安全凭据"下创建或找到您的访问密钥。
secretAccessKey：这是您的 AWS 秘密访问密钥，在您创建访问密钥时提供。
region：您的 Amazon Bedrock 模型部署的 AWS 区域（例如，"us-east-1"、"us-west-2"）。

确保您的 AWS IAM 用户或角色具有访问 Amazon Bedrock 服务所需的权限。至少，您需要以下权限：

bedrock:InvokeModel
bedrock:InvokeModelWithResponseStream（用于流式响应）

示例 IAM 策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": "*"
    }
  ]
}

为了增强安全性，我们建议创建具有有限权限的专用 IAM 用户，专门用于 OpenRoute。

在 AWS Bedrock API 入门文档、IAM 权限设置指南或 AWS Bedrock API 参考中了解更多信息。

Google Vertex API 密钥

要在 OpenRoute 中使用 Google Vertex AI，您需要以 JSON 格式提供您的 Google Cloud 服务账户密钥。服务账户密钥应包含所有标准 Google Cloud 服务账户字段，以及用于指定部署区域的可选 region 字段。

{
  "type": "service_account",
  "project_id": "your-project-id",
  "private_key_id": "your-private-key-id",
  "private_key": "-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----\n",
  "client_email": "your-service-account@your-project.iam.gserviceaccount.com",
  "client_id": "your-client-id",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/your-service-account@your-project.iam.gserviceaccount.com",
  "universe_domain": "googleapis.com",
  "region": "global"
}

您可以在 Google Cloud 控制台中找到这些值：

服务账户密钥：导航到 Google Cloud 控制台，转到"IAM 和管理" > "服务账户"，选择您的服务账户，并创建/下载 JSON 密钥。
region（可选）：指定您的 Vertex AI 部署区域。使用 "global" 允许请求在任何可用区域运行，或指定特定区域如 "us-central1" 或 "europe-west1"。

确保您的服务账户具有访问 Vertex AI 服务所需的权限：

aiplatform.endpoints.predict
aiplatform.endpoints.streamingPredict（用于流式响应）

示例 IAM 策略：

{
  "bindings": [
    {
      "role": "roles/aiplatform.user",
      "members": [
        "serviceAccount:your-service-account@your-project.iam.gserviceaccount.com"
      ]
    }
  ]
}

在 Google Cloud Vertex AI 文档和服务账户设置指南中了解更多信息。

自带 API 密钥

OpenRoute 支持 OpenRoute 积分和自带提供商密钥 (BYOK) 选项。

当您使用 OpenRoute 积分时，每个提供商的速率限制由 OpenRoute 管理。

使用提供商密钥可以通过您的提供商账户直接控制速率限制和成本。

您的提供商密钥经过安全加密，用于通过指定提供商路由的所有请求。

在您的账户设置中管理密钥。

密钥优先级和故障转移

OpenRoute 在可用时总是优先使用您的提供商密钥。默认情况下，如果您的密钥遇到速率限制或失败，OpenRoute 将回退到使用共享的 OpenRoute 积分。

Azure API 密钥

要在 OpenRoute 中使用 Azure AI 服务，您需要以 JSON 格式提供您的 Azure API 密钥配置。每个密钥配置需要以下字段：

{
  "model_slug": "the-openroute-model-slug",
  "endpoint_url": "https://<resource>.services.ai.azure.com/deployments/<model-id>/chat/completions?api-version=<api-version>",
  "api_key": "your-azure-api-key",
  "model_id": "the-azure-model-id"
}

您可以在 Azure AI 服务资源中找到这些值：

endpoint_url：在 Azure 门户中导航到您的 Azure AI 服务资源。在"概述"部分，您会找到您的端点 URL。确保在基础 URL 后添加 /chat/completions。您可以在 Azure Foundry 文档中了解更多信息。
api_key：在 Azure AI 服务资源的同一"概述"部分，您可以在"密钥和端点"下找到您的 API 密钥。
model_id：这是您在 Azure AI 服务中的模型部署名称。
model_slug：这是您要使用此密钥的 OpenRoute 模型标识符。

由于 Azure 支持多个模型部署，您可以为不同模型提供配置数组：

[
  {
    "model_slug": "mistralai/mistral-large",
    "endpoint_url": "https://example-project.openai.azure.com/openai/deployments/mistral-large/chat/completions?api-version=2024-08-01-preview",
    "api_key": "your-azure-api-key",
    "model_id": "mistral-large"
  },
  {
    "model_slug": "openai/gpt-4o",
    "endpoint_url": "https://example-project.openai.azure.com/openai/deployments/gpt-4o/chat/completions?api-version=2024-08-01-preview",
    "api_key": "your-azure-api-key",
    "model_id": "gpt-4o"
  }
]

确保将 URL 替换为您自己的项目 URL。URL 应该以 /chat/completions 结尾，并带有您要使用的 API 版本。

AWS Bedrock API 密钥

要在 OpenRoute 中使用 Amazon Bedrock，您可以使用 Bedrock API 密钥或传统 AWS 凭据进行身份验证。

选项 1：Bedrock API 密钥（推荐）

Amazon Bedrock API 密钥提供更简单的身份验证方法。只需将您的 Bedrock API 密钥作为字符串提供：

your-bedrock-api-key-here

注意： Bedrock API 密钥绑定到特定的 AWS 区域，不能用于更改区域。如果您需要在不同区域使用模型，请使用下面的 AWS 凭据选项。

您可以在 AWS 管理控制台中生成 Bedrock API 密钥。在 Amazon Bedrock API 密钥文档中了解更多信息。

选项 2：AWS 凭据

或者，您可以使用 JSON 格式的传统 AWS 凭据。此选项允许您指定区域并提供更多灵活性：

{
  "accessKeyId": "your-aws-access-key-id",
  "secretAccessKey": "your-aws-secret-access-key",
  "region": "your-aws-region"
}

您可以在 AWS 账户中找到这些值：

accessKeyId：这是您的 AWS 访问密钥 ID。您可以在 AWS 管理控制台的"安全凭据"下创建或找到您的访问密钥。
secretAccessKey：这是您的 AWS 秘密访问密钥，在您创建访问密钥时提供。
region：您的 Amazon Bedrock 模型部署的 AWS 区域（例如，"us-east-1"、"us-west-2"）。

确保您的 AWS IAM 用户或角色具有访问 Amazon Bedrock 服务所需的权限。至少，您需要以下权限：

bedrock:InvokeModel
bedrock:InvokeModelWithResponseStream（用于流式响应）

示例 IAM 策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": "*"
    }
  ]
}

为了增强安全性，我们建议创建具有有限权限的专用 IAM 用户，专门用于 OpenRoute。

在 AWS Bedrock API 入门文档、IAM 权限设置指南或 AWS Bedrock API 参考中了解更多信息。

Google Vertex API 密钥

{
  "type": "service_account",
  "project_id": "your-project-id",
  "private_key_id": "your-private-key-id",
  "private_key": "-----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY-----\n",
  "client_email": "your-service-account@your-project.iam.gserviceaccount.com",
  "client_id": "your-client-id",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/your-service-account@your-project.iam.gserviceaccount.com",
  "universe_domain": "googleapis.com",
  "region": "global"
}

您可以在 Google Cloud 控制台中找到这些值：

服务账户密钥：导航到 Google Cloud 控制台，转到"IAM 和管理" > "服务账户"，选择您的服务账户，并创建/下载 JSON 密钥。
region（可选）：指定您的 Vertex AI 部署区域。使用 "global" 允许请求在任何可用区域运行，或指定特定区域如 "us-central1" 或 "europe-west1"。

确保您的服务账户具有访问 Vertex AI 服务所需的权限：

aiplatform.endpoints.predict
aiplatform.endpoints.streamingPredict（用于流式响应）

示例 IAM 策略：

{
  "bindings": [
    {
      "role": "roles/aiplatform.user",
      "members": [
        "serviceAccount:your-service-account@your-project.iam.gserviceaccount.com"
      ]
    }
  ]
}

在 Google Cloud Vertex AI 文档和服务账户设置指南中了解更多信息。

BYOK

自带 API 密钥

密钥优先级和故障转移

Azure API 密钥

AWS Bedrock API 密钥

选项 1：Bedrock API 密钥（推荐）

选项 2：AWS 凭据

Google Vertex API 密钥

On this page

BYOK

自带 API 密钥

密钥优先级和故障转移

Azure API 密钥

AWS Bedrock API 密钥

选项 1：Bedrock API 密钥（推荐）

选项 2：AWS 凭据

Google Vertex API 密钥

On this page