跳到正文

迁移指南从 LLM Gateway

从 LLM Gateway 迁移，保留你自己的提供商密钥

LLM Gateway（llmgateway.io）可以运行在由积分支付的自有提供商访问上、你自己的提供商密钥上，或两者兼用，从你的密钥回退到积分。使用其 BYOK 模式的团队已经最接近 INFRO。本页介绍该模式的对应关系，并直接说明 INFRO 不做什么。

llmgateway.io；AGPLv3 核心，另有授权的 `ee/` 版本；托管或自托管

INFRO 账号可自助开通。 模型目录、文档和 API 契约已公开，网关已部署，v1 之后的所有功能都标注为“后续”。 套餐与试用

现状

许可证

theopenco/llmgateway 的核心采用 AGPLv3，商业功能在 ee/ 中以单独的 Enterprise 许可证提供。它托管在 api.llmgateway.io，也可以自托管。

由谁的账号处理请求

基于预付积分的自有提供商访问、你的提供商密钥（据其文档，无网关加价），或从你的密钥回退到积分的混合模式。

网关之外

它的文档还涵盖编程套餐、聊天应用、提供商门户、支付 SDK、决策和 System One 端点。这些不在本次对应范围内。

它开源且覆盖面广。如果你用它做的是以下之一，就继续使用。

  • 你基于 AGPL 自托管。INFRO 是托管服务；自托管或混合部署通过企业协议提供。
  • 你使用不带前缀的模型 ID，让它按价格、可用性、吞吐量或延迟挑选提供商，或者使用 auto 和 smart 模型选择。INFRO 不按价格或速度挑选。
  • 你的 AI SDK 应用使用 AI Gateway 协议端点，你希望只换基础 URL 就完成切换。INFRO 没有实现该协议。
  • 你通过它使用 Realtime、OCR 或搜索，使用来自 OpenAI、Azure OpenAI 或 Mistral 以外提供商的嵌入，或者希望在没有自己提供商账号的情况下访问模型。

需要的修改，每项一行。未在此列出的内容都保持不变。

 LLM GatewayINFRO
基础 URLhttps://api.llmgateway.io/v1，AI SDK 网关协议使用 /v1/ai。https://api.infro.io/v1
密钥一个 LLM Gateway 密钥。一个 INFRO 网关密钥；你的提供商密钥变为连接。
模型 IDgpt-5.6-terra（由网关选择）、openai/gpt-5.6-terra（固定）、auto、dynamic/<name>。openai/gpt-5.6-terra，或用路由规则名称代替 dynamic/<name>。
请求头X-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id、X-INFRO-Feature；用 routing.providers 把请求限定在一家提供商上。

之前 · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

之后 · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

AI SDK 应用

将网关提供方替换为 @ai-sdk/openai 中的 createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey })，并调用 .chat(modelId)。模型 ID 仍为 vendor/model。

故障转移默认开启

指定模型的请求会在提供该模型的你的各个连接之间故障转移。routing.providers.allow 会把请求限定在选定的提供商上，作用与 X-No-Fallback 或固定 ID 相同。

动态路由变为路由规则

将每个 dynamic/<name> 流程重建为一条目标相同的路由规则；提示词分类器可覆盖按提示词类型路由的需求。

LLM Gateway 的对象与 INFRO 的对照，依据 2026年10月19日 阅读的 LLM Gateway 公开文档，并已按网关实际实现的内容核对。 有两行显示 INFRO 没有对应项。

LLM Gateway它在那里的作用在 INFRO 中
提供商密钥（BYOK）不同你的密钥，带允许的模型、支出上限和速率限制；混合模式可回退到积分。带有按密钥模型的连接；绝不回退到别人的账号。
按价格、吞吐量、延迟路由无对应不带前缀的 ID 和 routing 策略用于选择提供商。无。由路由规则设置顺序或权重。
`auto`、`smart`、动态路由不同按请求选择模型，或通过命名的流程选择。路由规则，以及把每类提示词发送到各自目标的提示词分类器。
API 密钥和 IAM 规则形式相同按密钥设置支出限额，以及模型或提供商的允许和拒绝。按密钥的支出限额、允许列表和提供商列表；另有四个范围的预算。
网关响应缓存形式相同项目级响应缓存，带 TTL；使用 x-no-cache 绕过。需主动开启的精确匹配缓存，带 TTL 和命名空间。
元数据请求头不同任何 X-LLMGateway-* 请求头。请求体中的 metadata，或 X-INFRO-User-Id、X-INFRO-Feature、X-INFRO-Trace-Id。
AI SDK 网关协议无对应只需更换基础 URL 即可替换 @ai-sdk/gateway 应用中的网关。未实现。请使用 AI SDK 的 OpenAI 提供方。
护栏、审计日志、SSO形式相同内容规则和安全事件；Enterprise 版提供审计日志和 SSO。护栏、审计日志，以及从 Business 套餐起提供的 SSO 和 SCIM。
嵌入、Realtime、OCR、搜索不同提供。在你的 OpenAI、Azure OpenAI、Mistral 或 OpenAI 兼容连接上提供嵌入。不提供 Realtime、OCR 和搜索。
自托管不同AGPLv3 核心，Docker 和 Kubernetes。托管服务。自托管或混合部署通过企业协议提供。Enterprise — 通过企业协议提供，而非自助开通。

这是我们对 LLM Gateway 已发布文档的理解，而非试用或基准测试。如果我们理解有误，告诉我们，我们会修正那一行。

INFRO 不做的事

  • 按价格、可用性、吞吐量或延迟选择提供商。
  • 实现 Vercel AI Gateway 协议。
  • 提供 Realtime、OCR 或搜索，或在 OpenAI、Azure OpenAI、Mistral 或 OpenAI 兼容端点之外的提供商上提供嵌入。
  • 回退到不属于你的账号。
  • 以开源许可证运行。

哪些无法迁移过来

  • 日志、分析和成本历史。没有导入工具。
  • 你 LLM Gateway 账号上的积分。
  • 作为对象的动态路由和 IAM 规则。将它们重建为路由规则和允许列表。

问题

INFRO 是否像 LLM Gateway 那样支持 Vercel AI Gateway 协议？
不支持。AI SDK 应用通过 @ai-sdk/openai 调用 INFRO，基础 URL 设为 https://api.infro.io/v1；模型 ID 保持不变。
谁向提供商付费？
由你直接在你自己的账号上付费。INFRO 是订阅制，对模型支出加价 0%。
INFRO 是开源的吗？
不能。INFRO 是托管服务；自托管或混合部署通过企业协议提供。

和我们一起迁移，或自行迁移

迁移计划会在一次通话中把你的 LLM Gateway 设置映射为 INFRO 的连接、路由规则和预算，并和你一起迁移第一个服务。你的提供商继续直接向你收费；INFRO 是一项订阅，对模型支出零加价。

开始 14 天试用 预约迁移会话阅读快速入门

来源

本页关于 LLM Gateway 的每一项陈述都来自以下来源之一，阅读于 2026年10月19日。没有任何内容是从试用、基准测试或交谈中推断的。