跳到正文

迁移指南从 Kong AI Gateway

从 Kong AI Gateway 迁移，或与其并行

Kong AI Gateway 让 AI 流量与你其余的 API 走同一个网关：带目标和均衡器的 AI Model，用于限额、缓存和护栏的 AI Policy，运行在你自己的 Kong 数据平面或 Konnect 上。如果你在其他所有地方都用 Kong，这就是继续使用它的有力理由。本页面向希望把 AI 部分改为托管控制平面的团队。

AI Gateway 2.x（2.0 于 2026-07-10 发布，2.2 于 2026-09-30 发布）；Konnect 托管或自托管

INFRO 账号可自助开通。 模型目录、文档和 API 契约已公开，网关已部署，v1 之后的所有功能都标注为“后续”。 套餐与试用

现状

版本 2

Kong AI Gateway 有自己的版本号：2.0.0 于 2026-07-10 发布，2.2.0 于 2026-09-30 发布。2.x 用实体取代了 Service 和 Route 上的 AI Proxy 插件：AI Model、AI Model Provider、AI Policy、AI Auth Strategy、AI Consumer Group、AI MCP Server。

由谁的账号处理请求

归你所有。提供商凭据在 AI Model Provider 上声明，由网关注入；Kong 不出售推理。

由谁运行

Konnect 托管控制平面；数据平面运行在你的基础设施、Kubernetes 或 Kong 的 Dedicated Cloud Gateways 上。针对本地部署的 OpenAI SDK 使用指南称，这需要 Kong Gateway Enterprise。

Kong 是一个通用 API 网关，带有深入的 AI 策略。把 AI 流量迁出它是一项实际成本，以下是迁移不划算的情况。

  • Kong 已经在你的 API 前面，并由你的平台团队运维。一个网关、一套策略模型、一个值班体系。
  • 流量必须留在你自己的数据平面上或你的网络内。INFRO 的套餐是托管服务；自托管或混合部署通过企业协议提供。
  • 你使用语义缓存、语义或最低延迟均衡器、提示词模板或提示词压缩器。INFRO 提供精确匹配缓存、优先级和加权路由规则，没有提示词工具。
  • 你通过 Kong 策略依赖 AWS Guardrails、Azure Content Safety 或 GCP Model Armor，或依赖 A2A 流量。INFRO 有自己的护栏，没有 A2A。
  • 你代理文件、批处理或 assistants，或者在 OpenAI、Azure OpenAI、Mistral 或 OpenAI 兼容端点之外的提供商上使用嵌入。INFRO 不提供这些。

需要的修改，每项一行。未在此列出的内容都保持不变。

 Kong AI GatewayINFRO
基础 URL你的 Kong 代理或 $KONNECT_PROXY_URL，加上 AI Model 的路由路径。https://api.infro.io/v1
密钥apikey 中的 Kong consumer 密钥（key-auth），或 OIDC bearer 令牌。Authorization: Bearer 中的 INFRO 网关密钥。提供商凭据从 AI Model Provider 迁移到 INFRO 连接。
模型 ID上游模型名称（gpt-4o）或由 config.route.model 设置的别名。vendor/model，或一条以你旧别名命名的路由规则，这样调用方可以继续发送它。
请求头从响应中读取：X-Cache-Status、X-AI-RateLimit-*。响应中的 X-INFRO-Cache 和 X-RateLimit-Limit；预算在响应体中返回 402。

之前 · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

之后 · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

别名变为路由规则

每个 AI Model 别名变为一条同名路由规则，目标及顺序保持不变。网关密钥可以固定到指定的路由规则，从而无法直接调用模型，就像 Kong consumer 被限定在其路由上一样。

consumer 组变为项目

按 consumer 和按组设置的 token 或成本限额，变为密钥支出限额和项目预算。按密钥设置的请求速率层级在 X-RateLimit-Limit 中报告。

迁移期间两者并行

Kong 和 INFRO 完全可以并行运行。由于 INFRO 支持 OpenAI 格式，它也可以作为 Kong 的上游。

Kong AI Gateway 的对象与 INFRO 的对照，依据 2026年10月19日 阅读的 Kong AI Gateway 公开文档，并已按网关实际实现的内容核对。 有两行显示 INFRO 没有对应项。

Kong AI Gateway它在那里的作用在 INFRO 中
AI Model Provider形式相同保存凭据的可复用提供商定义。一个提供商连接，加密封存，每个提供商可有多个密钥，备用密钥排在最后。
AI Model 和目标形式相同一个带有目标和负载均衡器的虚拟模型。带有有序或加权目标、针对请求的条件规则和按故障类型规则的路由规则。
均衡算法不同轮询、一致性哈希、最少连接、最低延迟、最低用量、语义、优先级。仅支持优先级和加权，外加一个挑选某类目标的提示词分类器。没有基于延迟、用量或语义的均衡。
重试、故障转移条件、熔断器不同重试、failover_criteria、max_fails 和 fail_timeout。针对 429、5xx、超时、连接、凭据和内容审核的按故障类型规则（重试、故障转移或停止）。没有熔断器设置。
AI Auth Strategy 和 consumer不同key-auth 或 OIDC 身份，按组应用策略。每个服务一个网关密钥，带允许列表、IP 范围和环境。成员通过 SSO 登录；网关调用使用密钥。
AI Rate Limiting Advanced不同按 consumer、组、模型、提供商、请求头或路径设置的 token 或成本限额。按组织、项目、成员、密钥和终端客户设置、在美元上限处拒绝的预算；按密钥设置的请求速率层级。没有按 token 数计的时间窗口。
AI Semantic Cache不同在 Redis、Valkey 或 pgvector 中进行语义缓存和精确缓存。仅精确匹配，需主动开启，用于 chat completions。
Prompt Guard、Sanitizer、语义防护不同基于模式和语义的提示词规则、PII 清理、响应防护。按模式进行拦截、遮盖或标记的护栏，以及在决策模型上运行的检查。没有语义相似度防护。
云端护栏集成无对应AWS Guardrails、Azure Content Safety、GCP Model Armor。无。
Prompt Template、Prompt Compressor无对应在网关中进行提示词模板化和提示词压缩。无。提示词保留在你的代码中。
AI MCP Server形式相同MCP 流量走同一个网关。面向你自己 MCP 服务器的 MCP 网关，按密钥设置已批准的工具和授权。
分析不同Konnect 分析中的 token 用量、延迟和成本。每请求的预估提供商费用；在你添加管理员密钥后，每天与 OpenAI 和 Anthropic 自己的成本 API 对账。
自托管数据平面不同运行在你自己的基础设施上。托管服务。自托管或混合部署通过企业协议提供。Enterprise — 通过企业协议提供，而非自助开通。

这是我们对 Kong AI Gateway 已发布文档的理解，而非试用或基准测试。如果我们理解有误，告诉我们，我们会修正那一行。

INFRO 不做的事

  • 为你的非 AI API 提供网关。
  • 语义缓存，或基于语义、延迟或用量的均衡。
  • 提示词模板或压缩。
  • 集成云端护栏服务，或承载 A2A 流量。
  • 代理文件、批处理或 assistants，或在 OpenAI、Azure OpenAI、Mistral 或 OpenAI 兼容端点之外的提供商上使用嵌入。
  • 在没有企业协议的情况下运行在你自己的数据平面上。

哪些无法迁移过来

  • Konnect 的分析和日志。没有导入工具。
  • 策略即配置（decK）。将它们重建为路由规则、预算、允许列表和护栏；INFRO 的管理 API 可以通过脚本创建它们。

问题

INFRO 和 Kong 可以一起运行吗？
可以。INFRO 支持 OpenAI 格式，因此它可以作为 Kong 的上游，服务也可以逐个从 Kong 迁移到 INFRO。
我可以保留我的模型别名吗？
可以。创建一条以该别名命名的 INFRO 路由规则；调用方继续发送同样的 model。
模型用量由谁付费？
由你直接向你的提供商付费，和使用 Kong 时一样。INFRO 是订阅制，对模型支出加价 0%。

和我们一起迁移，或自行迁移

迁移计划会在一次通话中把你的 Kong AI Gateway 设置映射为 INFRO 的连接、路由规则和预算，并和你一起迁移第一个服务。你的提供商继续直接向你收费；INFRO 是一项订阅，对模型支出零加价。

开始 14 天试用 预约迁移会话INFRO 对比 Kong AI Gateway阅读快速入门

来源

本页关于 Kong AI Gateway 的每一项陈述都来自以下来源之一，阅读于 2026年10月19日。没有任何内容是从试用、基准测试或交谈中推断的。