跳到正文

Cloudflare 开发者平台上的 AI 网关

INFRO vs Cloudflare AI Gateway

Cloudflare AI Gateway 在 23 家提供商及其自家的 Workers AI 前面放置了一个代理,其核心——分析、日志、缓存和速率限制——在任何 Cloudflare 账号上都是免费的。到 2026 年,它已经远不只是一个代理:在调用提供商之前评估的美元支出限制——对有已知定价的模型,也会计入你自己密钥上的请求——按身份归因的支出、自定义元数据、带版本化部署和即时回滚的可视化路由构建器、OpenTelemetry 导出,以及双向的护栏和数据防泄漏。如果你的流量本来就经过 Cloudflare,采用它只需一个下午,别无其他成本——对很多团队来说,评估到这里就可以结束,这也是对本页坦率的总结。

何时 Cloudflare AI Gateway 是更好的选择
  • 免费是硬性需求。在你已有的账号上,核心功能不花一分钱,也没有哪个付费控制平面值得为了取代一个已经在正常工作的东西而购买。
  • 你已经在使用 Cloudflare。它就在你已经在运行的 Workers、存储和 DNS 旁边,处于你已经签署的合同之下,无需审查新的供应商,也没有第二张发票。对很多团队来说,这就是整个评估,而且这是个好答案,而不是偷懒的答案。
  • 你想要聊天补全之外的缓存。两者的缓存都只对完全相同的重复请求作答,但 Cloudflare 的缓存涵盖文本和图像响应,并从其自己的网络提供;INFRO 的响应缓存只涵盖聊天补全请求,按项目和密钥环境设定键。
  • 你需要在请求路径上对提示词和响应都设置护栏或数据防泄漏。这些是他们的强项。INFRO 提供针对聊天补全中 PII、密钥和你自己指定术语的模式护栏,以及针对提示词注入、越狱和有害或偏离主题请求的分类器检查,这些检查仅读取提示词,在你自己的决策模型连接上运行,随 Business 套餐提供。
  • 你在运行 Workers AI。通过一个网关同时调用 Cloudflare 自己的模型和第三方提供商,是从同时托管两者的公司购买所带来的实际优势。
  • 经过验证的、由目录驱动的用户同步是硬性需求。Cloudflare 的文档记载了面向 Enterprise 客户、针对 Okta、Microsoft Entra ID 和 Authentik 的控制台 SCIM 同步。INFRO 从 Business 套餐起包含 SAML/OIDC SSO 和 SCIM 2.0,但它们是新功能,尚未在生产环境中与客户的身份提供商实际运行过,因此我们与你一起设置首次连接,而不称之为自助服务。

这一节不是客套。如果其中某一条说的正是你,请选择 Cloudflare AI Gateway——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。

两者真正的分歧所在。

估算之后会发生什么
两款产品都根据 token 数量和模型费率为每个请求定价,也都坦承结果只是估算——Cloudflare 的支出限制文档说,成本追踪是尽力而为的,确切的计费金额请参考你的提供商的控制台。这是对任何网关自身所能知道的内容的恰当描述,INFRO 的每请求数字也是同样性质的估算。区别在于接下来发生的事:每日一次的处理会使用你有意授予的单独管理员凭据,读取你自己的 OpenAI 和 Anthropic 成本 API,把提供商报告的数字与 INFRO 对同样 UTC 日期的估算并排存储,并说明差异。它在 Business 套餐中涵盖这两家提供商,没有适配器的提供商不显示差异,而不是显示差异为零——因为零会被读作无人核对过的吻合。财务沟通需要的不是支出仪表盘,而是一个已与发票核对过的数字。
你的协商价存放在哪里
两者都可以按你的合同实际采用的费率定价。Cloudflare 按请求接收这些费率,由调用方发送的 cf-aig-custom-cost 请求头携带。INFRO 则把它们存储在控制台中,按模型并可选按提供商类型设置——因为同一个模型在厂商直接账号上与通过云转售商购买时,计费方式不同——并应用于每个匹配的请求,无论调用方是否知情。差别在于运维而非技术:如果费率随请求头传递,每个调用模型的服务都带着一份你的商务条款,重新谈判就意味着对所有这些服务进行部署。如果它存放在控制平面中,则由合同的负责人修改一次即可,上个月的请求也保留运行当时有效的费率。每条 INFRO 记录还会说明采用了哪种费率——你的协商价、厂商公布的费率,或未定价——无人能定价的请求会被记录为未定价,而不是免费。
路由适用于哪些请求
Cloudflare 的动态路由在可视化编辑器中编排,以草稿形式做版本管理,部署时支持即时回滚,并且据其文档,只接受 OpenAI 聊天补全的请求格式;其他格式会返回 400。这确实是构建路由流程的一种好方式,但它仅限于聊天。INFRO 的路由是优先级或加权的目标列表,适用于该路由所服务的一切,包括图像、视频和音频请求,而这正是以媒体为主的产品真正花钱的地方。两种形态在抽象意义上没有优劣之分。哪种更合适,取决于你的路由问题是否止于文本。
一个网关,还是一个组织
Cloudflare 的基本单位是网关:对它的访问取决于 Cloudflare 账号角色,每个请求的身份来自自定义元数据——最多五个条目——或来自 Access。INFRO 的基本单位是组织,其下是项目、环境、各有自己作用范围的密钥、五种角色、组织、项目和密钥层级的模型允许列表,以及记录谁在何时更改了哪项策略的审计日志,所有套餐都有,包括入门套餐。关键区别在于控制附着在什么上:上限或允许列表之所以在这里生效,是因为发起调用的是哪个密钥,而不是因为调用方给自己贴对了标签。元数据更灵活,也更容易出错。只有一个团队运行 AI 时,一个网关就够了。当有多个团队时,问题就不再是一个请求花了多少,而是哪个团队可以调用这个模型、谁批准的、他们花了多少——这是一种不同的对象模型,而不是更大的仪表盘。
某个平台的一部分,还是独立的产品
这是真正的分岔点,对大多数读者而言更有利于他们。他们的网关是 Cloudflare 开发者平台的一个界面,这就是它免费、只需一行代码、并会在别人的路线图上持续增加功能的原因——这款产品的更新速度比本页更快,所以在决定之前,请对照他们的文档来核实我们的说法。INFRO 是一个独立的控制平面:多一家要审查的供应商,多一份订阅,并且只对一件事负责:为运行它的任何人跨越其所有环境运营 AI。哪种取舍合适,取决于你的技术栈有多大比例已经属于 Cloudflare,这是关于你自己的问题,而不是关于任何一款产品。

并排对比。

我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。

能力Cloudflare AI GatewayINFRO
一套 API 访问众多提供商是23 家提供商,外加 Workers AI是你所连接的提供商能提供的一切
免费的核心功能是分析、日志、缓存、速率限制否付费套餐,含试用
你自己的提供商密钥是存放在 Secrets Store 中,按网关划分,带别名是按环境连接
路由、重试和故障转移是可视化路由,仅限聊天补全格式是优先级或加权目标,任意模态
响应缓存是精确匹配;文本和图像,来自其网络部分精确匹配,仅限聊天补全
护栏和数据防泄漏是他们的专长;提示词和响应部分聊天内容模式匹配加提示词分类器;Business 套餐
请求日志和追踪是默认开启是默认关闭载荷捕获
在调用提供商之前就拒绝的预算是达到上限时返回 429,或使用回退模型;对有定价的模型计入 BYOK是402,四种作用范围
归因到团队、功能或终端用户的成本是自定义元数据和身份是项目、密钥、用户 ID
按你的协商价估算部分调用方发送的请求头是按组织存储;Team 套餐
与提供商自己的账单对账否其文档指向提供商的控制台部分OpenAI 和 Anthropic,Business 套餐;会说明差异
模型允许列表部分可通过路由条件实现是组织、项目和密钥
项目、角色和审计日志部分Cloudflare 账号角色是所有套餐
请求历史部分每个网关有存储上限是按套餐 7 至 90 天
图像、视频和音频部分按各提供商自己的格式代理是各用一种请求格式
自有推理服务是Workers AI否路由到你的提供商
现已可用是免费的核心功能是自助注册

这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。

算一算这些差异值多少

按你的提供商的公开价,估算你当前的模型组合要花多少、需要哪个套餐;或者让我们读取你的真实用量,告诉你我们在哪些地方能帮上忙、哪些地方帮不上。

已经在用 Cloudflare AI Gateway?阅读从 Cloudflare AI Gateway 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。

在比较两个以上的选项?查看 Cloudflare AI Gateway 的所有替代方案,了解各自更合适的场景。