跳到正文

API 网关上的 AI 插件

INFRO vs Kong AI Gateway

Kong AI Gateway 把 AI 流量引入 Kong Gateway——部署最广泛的 API 网关之一:对主要提供商的模型与提供商抽象、它们之间的负载均衡和故障转移、语义缓存、基于 token 和成本的速率限制、提示词防护、PII 清理、云护栏集成以及 MCP 工具——全部作为策略运行在已经承载公司 API 的同一个运行时上。如果你的平台团队今天就在运行 Kong,把 AI 流量加进去只是一次配置变更,而不是引入新的供应商,这是一个很强的优势。

何时 Kong AI Gateway 是更好的选择
  • 你已经在运行 Kong。你的 API、认证插件、可观测性和值班都已经在那里,AI 流量只是同一运维模式下多出来的一组路由。在模型前面再加一个网关,会是你不需要的范围。
  • 你需要自己运行整个网关——数据平面在你自己的环境中,或者控制平面和数据平面都在本地。Kong 就是为此而构建的。INFRO 的套餐是托管的;自托管和混合部署仅随企业协议提供。
  • 插件深度是硬性需求。Kong 的插件生态——自定义插件、请求和响应转换、与 AWS、Azure 和 Google 的云护栏集成——远远超出 INFRO 所提供的范围,而 INFRO 根本没有插件系统。
  • 你用同一个策略模型治理 AI 流量和普通 API 流量,把两者拆开,在一致性上付出的代价会超过 AI 专属功能带来的收益。

这一节不是客套。如果其中某一条说的正是你,请选择 Kong AI Gateway——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。

两者真正的分歧所在。

学会了 AI 的 API 网关,还是专为 AI 构建的控制平面
Kong 的基本单位是路由和插件:AI 能力是你附加到通用网关所承载流量上的策略。INFRO 的基本单位是组织——项目、环境、网关密钥、提供商连接以及负责它们的人——每个请求都带有归因到项目、密钥、模型、路由或终端用户的预估提供商费用。两者都是自洽的设计。差别体现在平台团队之外的人提出问题时:财务负责人想知道客服助手上个月花了多少,或团队负责人想知道自己的项目可以调用哪些模型,在 INFRO 的控制台里就能得到答案,而不必去查询网关日志。
成本数字从何而来,由什么核对
Kong 可以强制执行支出限制:它的 AI Rate Limiting Advanced 插件根据你在 AI Proxy 配置中为每个模型设置的输入和输出价格来计算成本,并在达到限额时返回 429。这是一种功能完善的机制,但价格需要你自己在网关配置中维护。INFRO 保存厂商公布的每个模型的费率,从 Team 套餐起允许你录入合同中的费率,把没有已知价格的请求记录为未定价而不是免费,并在 Business 套餐中,将当月估算与 OpenAI 和 Anthropic 自己的成本 API 核对并说明差异。预算随后基于这个数字,在组织、项目、成员和密钥层级发挥作用。
各层级包含什么
Kong 的定价页面把基于角色的访问控制、单点登录和审计日志列为仅限企业版;若干 AI 插件(包括语义缓存)在其自助层级是付费附加项;自助层级还限制其 AI 插件可代理的不同模型数量;基于成本的速率限制在文档中属于 AI Gateway 企业版的一部分。具体细节请查看他们的定价页面。在 INFRO 中,预算、模型允许列表、审计日志和响应缓存适用于所有套餐,成员和角色从 Startup 套餐起提供,协商价和终端客户上限从 Team 起提供,单点登录、SCIM、护栏、MCP 网关和对账则在 Business 套餐中提供。
不是二选一
许多运行 Kong 的公司会继续使用它。INFRO 的网关使用 OpenAI API,因此 Kong 路由可以把 AI 流量作为上游发送给 INFRO:Kong 保留 API 体系及其边缘策略,INFRO 则在其后增加提供商连接、成本归因、预算和对账。这是两跳而不是一跳,是实实在在的代价,是否值得取决于你需要后一份清单中的多少内容。

并排对比。

我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。

能力Kong AI GatewayINFRO
一套 API 访问众多提供商是模型和提供商实体是你所连接的提供商
路由、重试和故障转移是跨提供商的负载均衡是
你自己的提供商账号是凭据保存在网关配置中是按环境连接
图像、视频和音频是图像、语音、转写和视频路由是各用一种请求格式
自托管是混合部署或完全自托管部分企业协议
插件生态和自定义插件是它们的专长否没有插件系统
护栏和 PII 脱敏是提示词防护、PII 清理、云护栏部分聊天内容模式匹配加提示词分类器;Business 套餐
响应缓存是语义缓存;在 Plus 上为付费附加项部分精确匹配,聊天补全;所有套餐
以美元计的、会拒绝请求的支出限额部分成本模式速率限制;AI Gateway 企业版是402;组织、项目、成员、密钥;所有套餐
按你的协商价估算部分插件配置中的按模型成本是按组织存储;Team 套餐
与提供商自己的账单对账否部分OpenAI 和 Anthropic,Business 套餐;会说明差异
角色、SSO 和审计日志部分企业层级是所有套餐都有审计;SSO 和 SCIM 在 Business 套餐
现已可用是是自助注册

这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。

算一算这些差异值多少

按你的提供商的公开价,估算你当前的模型组合要花多少、需要哪个套餐;或者让我们读取你的真实用量,告诉你我们在哪些地方能帮上忙、哪些地方帮不上。

已经在用 Kong AI Gateway?阅读从 Kong AI Gateway 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。