你自己托管的开源 AI 网关
INFRO vs Bifrost
Bifrost 是 Maxim AI 的开源 AI 网关,采用 Apache-2.0 许可,设计为自托管。它的开源版本包含的内容比大多数网关放在付费层级的还要多:带美元预算的虚拟密钥,以及密钥、团队和客户级别的速率限制;覆盖 20+ 家提供商的回退和加权负载均衡;语义缓存;带按密钥工具允许列表的 MCP 网关;OpenTelemetry;以及用于你自己费率的价格覆盖。护栏、SSO、基于角色的访问、审计日志、集群和 VPC 内部署则属于其企业版。如果你想要一个功能完备、自己运行且无需许可费用的网关,它是一个认真的选择。
何时 Bifrost 是更好的选择
- 你想在自己的基础设施中、用开源代码运行网关,且不需要任何厂商协议。这正是 Bifrost 的用途;INFRO 的自托管和混合部署仅随企业协议提供,其网关也不是开源的。
- 你想从零许可成本起步。Bifrost 的开源版本包含预算、虚拟密钥、语义缓存和 MCP 网关;INFRO 的入门套餐是付费的,并提供试用。
- 语义缓存对你的流量很重要。Bifrost 会从缓存中返回相似的提示词;INFRO 的响应缓存只对聊天补全的完全相同的重复请求给出答案。
- 你想阅读、修补或扩展代码——请求路径中的 Go 或 WASM 插件——而不是配置一项服务。
这一节不是客套。如果其中某一条说的正是你,请选择 Bifrost——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。
两者真正的分歧所在。
- 你自己运行的软件,还是你使用的服务
- Bifrost 需要你自己运维:部署、升级、扩容,以及每个模型请求都要经过的组件所带来的值班工作。其企业版增加了集群和 VPC 内部署;它的文档和定价页面都没有描述托管服务。对于已经在运行这类基础设施的平台团队来说,这是合适的取舍。INFRO 的套餐是托管的,因此无需部署任何东西,反过来也成立:你的请求会经过我们的服务而不是你自己的服务,除非企业协议把 INFRO 部署到你自己的基础设施中。
- 先是估算,再是提供商自己的数字
- 两款产品都根据价格目录估算成本,也都支持使用你自己的费率——Bifrost 通过从全局到单个虚拟密钥和提供商密钥的价格覆盖,INFRO 则通过 Team 套餐起提供的按模型和提供商类型存储的费率。区别在于之后发生的事。在 Business 套餐中,INFRO 使用单独的管理员凭据读取 OpenAI 和 Anthropic 自己的成本 API,把提供商报告的数字与 INFRO 的估算并排存储,并说明差异。Bifrost 的文档没有描述类似功能。对于没有已知价格的情况,两者的默认行为也不同:Bifrost 的文档指出,没有目录价格的自定义提供商在添加覆盖设置之前成本为 $0,而 INFRO 会把这类请求记录为未定价,并且阻断型预算会拒绝未定价的流量,除非你明确允许。
- 网关之外
- INFRO 是网关加上围绕它的运营界面:财务和团队负责人可以在控制台按项目、密钥和终端用户查看支出;每周摘要和每月报告通过邮件发送给所有者和财务成员;支出异常与漂移发现通过邮件发送,从 Startup 套餐起还可发送到 Slack、Teams、PagerDuty 或带签名的 webhook;图像、视频和音频各用一种请求格式,长时间渲染作为带签名 webhook 的任务运行;还有 INFRO Studio,一个基于你自己的提供商连接处理图像、视频和音频工作的工作区,所有套餐均可使用。这些都不是网关功能,只需要网关的团队不应该为此付费。
- 不是二选一
- 你已经在运行的 Bifrost 部署使用 OpenAI API,因此可以作为 OpenAI 兼容连接放在 INFRO 之后:只保留它独有的提供商和插件,再把 INFRO 的归因、预算和对账放在整个体系之前。
并排对比。
我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。
| 能力 | Bifrost | INFRO |
|---|---|---|
| 一套 API 访问众多提供商 | 是20+ 家提供商 | 是你所连接的提供商 |
| 路由、重试和故障转移 | 是 | 是 |
| 你自己的提供商账号 | 是你用自己的密钥运行它 | 是按环境连接 |
| 自托管和开源 | 是Apache-2.0 | 部分可按协议自托管;网关不是开源的 |
| 无需部署或运维任何东西 | 否文档未提及托管服务 | 是托管服务 |
| 会拒绝请求的预算 | 是402;虚拟密钥、团队、客户 | 是402;组织、项目、成员、密钥 |
| 按你自己的费率估算 | 是价格覆盖,九种作用范围 | 是按组织存储;Team 套餐 |
| 没有已知价格的模型 | 部分添加覆盖设置之前为 $0 | 是记录为未定价;默认在阻断型预算下被拒绝 |
| 与提供商自己的账单对账 | 否 | 部分OpenAI 和 Anthropic,Business 套餐;会说明差异 |
| 响应缓存 | 是语义 | 部分精确匹配,聊天补全 |
| MCP 网关 | 是开源版本;按密钥的工具允许列表 | 是固定工具,按密钥授权;Business 套餐 |
| 护栏 | 部分企业版 | 部分聊天内容模式匹配加提示词分类器;Business 套餐 |
| 角色、SSO 和审计日志 | 部分企业版 | 是所有套餐都有审计;SSO 和 SCIM 在 Business 套餐 |
| 图像、视频和音频任务,以及媒体工作区 | 部分媒体请求类型;没有工作区 | 是异步任务、带签名的 webhook、INFRO Studio |
| 现已可用 | 是 | 是自助注册 |
这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。
已经在用 Bifrost?阅读从 Bifrost 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。