AWS 上的托管模型服务
INFRO vs Amazon Bedrock
Amazon Bedrock 在 AWS 内运行来自众多厂商的模型,使用 AWS 的身份、网络和计费。围绕这些模型,它带有一套许多团队拿来当作网关使用的治理能力:跨区域推理配置文件、通过应用推理配置文件和 Projects 实现的成本分配标签、Bedrock Guardrails、按模型的 IAM 策略,以及模型调用日志。对于运行在 AWS 上、希望模型支出出现在 AWS 账单里的公司来说,这里是自然的归宿,对其中许多公司而言,评估到这里就可以结束。
何时 Amazon Bedrock 是更好的选择
- 你运行在 AWS 上,希望每个模型调用都发生在你的 AWS 账号内,受 IAM、你的 VPC 和你现有的 AWS 协议约束。Bedrock 从设计上就满足这一切;INFRO 则是请求路径上多出的一个供应商。
- 你的公司有已承诺的 AWS 支出。Bedrock 上的模型用量就是你 AWS 账单上的 AWS 用量;通过 INFRO 路由的直接提供商合同上的用量则不是。
- 你需要的模型都在 Bedrock 上。如果一个云目录就能覆盖你的工作负载,就没有第二个提供商需要跨提供商控制平面去横跨了。
- 安全策略是硬性需求。Bedrock Guardrails 提供内容过滤、禁止主题、敏感信息过滤、上下文依据检查和 Automated Reasoning 检查,其 ApplyGuardrail API 无需调用模型即可检查文本。INFRO 的护栏是针对聊天补全中 PII、密钥和你自己指定术语的模式检查,从 Business 套餐起可选用在你所连接的决策模型上运行的分类器检查。
- 你想在 AWS Cost Explorer 和 Cost and Usage Report 中,与其余 AWS 支出放在一起,按团队查看成本,且是实际计费的美元金额而不是估算。
这一节不是客套。如果其中某一条说的正是你,请选择 Amazon Bedrock——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。
两者真正的分歧所在。
- 一家云的目录,还是你持有的所有账号
- Bedrock 治理的是 Bedrock 提供的模型。你与 OpenAI 或 Anthropic 的直接合同、Google Cloud 上的 Gemini 密钥和 Azure OpenAI 部署都在其范围之外,各自有自己的限额、日志和成本视图。INFRO 的基本单位是你公司已经在付费的那组提供商账号,因此同一个策略、同一个预算和同一份请求记录可以覆盖所有这些账号——包括 Bedrock。
- 一天后才有的账单美元金额,或每个请求的估算
- AWS 的成本归因就是真实账单:应用推理配置文件和 Projects 会把标签带入 Cost Explorer 和 Cost and Usage Report。AWS 自己的页面也说明了随之而来的取舍——最细粒度是按每天每种使用类型,而不是按请求;已激活的标签最长可能需要 24 小时才会显示,且不会回溯;一个应用推理配置文件只绑定一个模型,因此每种模型、团队和标签组合都需要各自的配置文件。INFRO 在每个请求发生时就为其定价,使用厂商公布的费率,或在 Team 套餐中使用你的协商价,并把它归因到项目、密钥、模型、路由或终端用户。这个数字是估算而不是发票,因此 Business 套餐会把当月与 OpenAI 和 Anthropic 自己的成本 API 核对并说明差异。
- 告警和拒绝策略,或直接拒绝请求
- 在 AWS 上,支出控制靠的是 AWS Budgets:在阈值处告警,以及在越过阈值后应用 IAM 或服务控制策略的预算动作。这是在支出已被记录之后的账号级控制。INFRO 在调用提供商之前检查组织、项目、成员或密钥的阻断型预算,没有余量时以 402 拒绝;没有已知价格的模型会在阻断型预算下被拒绝,除非所有者允许未定价流量。它计算的是 INFRO 对提供商费用的估算,而不是提供商的发票。
- 不是二选一
- Bedrock 可以成为 INFRO 路由的提供商之一。该连接使用 Bedrock API 密钥,调用运行时兼容 OpenAI 的 Chat Completions 端点,目前提供 Bedrock 在该端点上开放的 OpenAI、xAI、Moonshot 和 MiniMax 模型。Bedrock 上的 Claude、Llama、Nova 和 Cohere 需要 Converse API,而 INFRO 目前尚不支持,因此暂时请通过这些厂商自己的账号或其他云访问它们。支出仍然计入你的 AWS 账单;INFRO 在你其余的资源之间补充预算、归因和故障转移。
并排对比。
我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。
| 能力 | Amazon Bedrock | INFRO |
|---|---|---|
| 来自众多厂商的模型 | 是Bedrock 的目录,在 AWS 上运行 | 是你所连接的提供商能提供的一切 |
| 你与提供商的直接合同 | 否仅限 Bedrock 托管的模型 | 是OpenAI、Anthropic、Google、Azure、Bedrock 等 |
| 模型支出计入你的 AWS 账单 | 是 | 部分针对发送到你的 Bedrock 连接的流量 |
| 按团队或应用划分的成本 | 部分标签;每日、实际计费美元、不回溯 | 是按请求:项目、密钥、终端用户 |
| 来自提供商自己账单的成本 | 是Cost Explorer 和 CUR | 部分估算;Business 套餐对 OpenAI 和 Anthropic 进行对账 |
| 会拒绝请求的预算 | 部分AWS Budgets 告警和拒绝策略动作 | 是组织、项目、成员、密钥;402 |
| 故障转移 | 部分Bedrock 内的跨区域推理 | 是跨你自己的提供商,包括 Bedrock |
| 护栏 | 是Bedrock Guardrails 和 ApplyGuardrail | 部分模式匹配加可选的分类器检查;聊天补全;Business 套餐 |
| 按模型的访问控制 | 是IAM | 是组织、项目和密钥层级的角色与允许列表 |
| 在你的云账号内运行 | 是 | 部分托管;企业协议可自托管 |
| 现已可用 | 是 | 是自助注册 |
这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。
已经在用 Amazon Bedrock?阅读从 Amazon Bedrock 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。