跳到正文

你自己托管的开源 AI 网关

INFRO vs Bifrost

Bifrost 是 Maxim AI 的开源 AI 网关,采用 Apache-2.0 许可,设计为自托管。它的开源版本包含的内容比大多数网关放在付费层级的还要多:带美元预算的虚拟密钥,以及密钥、团队和客户级别的速率限制;覆盖 20+ 家提供商的回退和加权负载均衡;语义缓存;带按密钥工具允许列表的 MCP 网关;OpenTelemetry;以及用于你自己费率的价格覆盖。护栏、SSO、基于角色的访问、审计日志、集群和 VPC 内部署则属于其企业版。如果你想要一个功能完备、自己运行且无需许可费用的网关,它是一个认真的选择。

何时 Bifrost 是更好的选择
  • 你想在自己的基础设施中、用开源代码运行网关,且不需要任何厂商协议。这正是 Bifrost 的用途;INFRO 的自托管和混合部署仅随企业协议提供,其网关也不是开源的。
  • 你想从零许可成本起步。Bifrost 的开源版本包含预算、虚拟密钥、语义缓存和 MCP 网关;INFRO 的入门套餐是付费的,并提供试用。
  • 语义缓存对你的流量很重要。Bifrost 会从缓存中返回相似的提示词;INFRO 的响应缓存只对聊天补全的完全相同的重复请求给出答案。
  • 你想阅读、修补或扩展代码——请求路径中的 Go 或 WASM 插件——而不是配置一项服务。

这一节不是客套。如果其中某一条说的正是你,请选择 Bifrost——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。

两者真正的分歧所在。

你自己运行的软件,还是你使用的服务
Bifrost 需要你自己运维:部署、升级、扩容,以及每个模型请求都要经过的组件所带来的值班工作。其企业版增加了集群和 VPC 内部署;它的文档和定价页面都没有描述托管服务。对于已经在运行这类基础设施的平台团队来说,这是合适的取舍。INFRO 的套餐是托管的,因此无需部署任何东西,反过来也成立:你的请求会经过我们的服务而不是你自己的服务,除非企业协议把 INFRO 部署到你自己的基础设施中。
先是估算,再是提供商自己的数字
两款产品都根据价格目录估算成本,也都支持使用你自己的费率——Bifrost 通过从全局到单个虚拟密钥和提供商密钥的价格覆盖,INFRO 则通过 Team 套餐起提供的按模型和提供商类型存储的费率。区别在于之后发生的事。在 Business 套餐中,INFRO 使用单独的管理员凭据读取 OpenAI 和 Anthropic 自己的成本 API,把提供商报告的数字与 INFRO 的估算并排存储,并说明差异。Bifrost 的文档没有描述类似功能。对于没有已知价格的情况,两者的默认行为也不同:Bifrost 的文档指出,没有目录价格的自定义提供商在添加覆盖设置之前成本为 $0,而 INFRO 会把这类请求记录为未定价,并且阻断型预算会拒绝未定价的流量,除非你明确允许。
网关之外
INFRO 是网关加上围绕它的运营界面:财务和团队负责人可以在控制台按项目、密钥和终端用户查看支出;每周摘要和每月报告通过邮件发送给所有者和财务成员;支出异常与漂移发现通过邮件发送,从 Startup 套餐起还可发送到 Slack、Teams、PagerDuty 或带签名的 webhook;图像、视频和音频各用一种请求格式,长时间渲染作为带签名 webhook 的任务运行;还有 INFRO Studio,一个基于你自己的提供商连接处理图像、视频和音频工作的工作区,所有套餐均可使用。这些都不是网关功能,只需要网关的团队不应该为此付费。
不是二选一
你已经在运行的 Bifrost 部署使用 OpenAI API,因此可以作为 OpenAI 兼容连接放在 INFRO 之后:只保留它独有的提供商和插件,再把 INFRO 的归因、预算和对账放在整个体系之前。

并排对比。

我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。

能力BifrostINFRO
一套 API 访问众多提供商是20+ 家提供商是你所连接的提供商
路由、重试和故障转移是是
你自己的提供商账号是你用自己的密钥运行它是按环境连接
自托管和开源是Apache-2.0部分可按协议自托管;网关不是开源的
无需部署或运维任何东西否文档未提及托管服务是托管服务
会拒绝请求的预算是402;虚拟密钥、团队、客户是402;组织、项目、成员、密钥
按你自己的费率估算是价格覆盖,九种作用范围是按组织存储;Team 套餐
没有已知价格的模型部分添加覆盖设置之前为 $0是记录为未定价;默认在阻断型预算下被拒绝
与提供商自己的账单对账否部分OpenAI 和 Anthropic,Business 套餐;会说明差异
响应缓存是语义部分精确匹配,聊天补全
MCP 网关是开源版本;按密钥的工具允许列表是固定工具,按密钥授权;Business 套餐
护栏部分企业版部分聊天内容模式匹配加提示词分类器;Business 套餐
角色、SSO 和审计日志部分企业版是所有套餐都有审计;SSO 和 SCIM 在 Business 套餐
图像、视频和音频任务,以及媒体工作区部分媒体请求类型;没有工作区是异步任务、带签名的 webhook、INFRO Studio
现已可用是是自助注册

这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。

算一算这些差异值多少

按你的提供商的公开价,估算你当前的模型组合要花多少、需要哪个套餐;或者让我们读取你的真实用量,告诉你我们在哪些地方能帮上忙、哪些地方帮不上。

已经在用 Bifrost?阅读从 Bifrost 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。