跳到正文

AWS 上的托管模型服务

INFRO vs Amazon Bedrock

Amazon Bedrock 在 AWS 内运行来自众多厂商的模型,使用 AWS 的身份、网络和计费。围绕这些模型,它带有一套许多团队拿来当作网关使用的治理能力:跨区域推理配置文件、通过应用推理配置文件和 Projects 实现的成本分配标签、Bedrock Guardrails、按模型的 IAM 策略,以及模型调用日志。对于运行在 AWS 上、希望模型支出出现在 AWS 账单里的公司来说,这里是自然的归宿,对其中许多公司而言,评估到这里就可以结束。

何时 Amazon Bedrock 是更好的选择
  • 你运行在 AWS 上,希望每个模型调用都发生在你的 AWS 账号内,受 IAM、你的 VPC 和你现有的 AWS 协议约束。Bedrock 从设计上就满足这一切;INFRO 则是请求路径上多出的一个供应商。
  • 你的公司有已承诺的 AWS 支出。Bedrock 上的模型用量就是你 AWS 账单上的 AWS 用量;通过 INFRO 路由的直接提供商合同上的用量则不是。
  • 你需要的模型都在 Bedrock 上。如果一个云目录就能覆盖你的工作负载,就没有第二个提供商需要跨提供商控制平面去横跨了。
  • 安全策略是硬性需求。Bedrock Guardrails 提供内容过滤、禁止主题、敏感信息过滤、上下文依据检查和 Automated Reasoning 检查,其 ApplyGuardrail API 无需调用模型即可检查文本。INFRO 的护栏是针对聊天补全中 PII、密钥和你自己指定术语的模式检查,从 Business 套餐起可选用在你所连接的决策模型上运行的分类器检查。
  • 你想在 AWS Cost Explorer 和 Cost and Usage Report 中,与其余 AWS 支出放在一起,按团队查看成本,且是实际计费的美元金额而不是估算。

这一节不是客套。如果其中某一条说的正是你,请选择 Amazon Bedrock——一个听了我们的建议却用错了这一层的客户,对我们来说比从未成为客户更糟。

两者真正的分歧所在。

一家云的目录,还是你持有的所有账号
Bedrock 治理的是 Bedrock 提供的模型。你与 OpenAI 或 Anthropic 的直接合同、Google Cloud 上的 Gemini 密钥和 Azure OpenAI 部署都在其范围之外,各自有自己的限额、日志和成本视图。INFRO 的基本单位是你公司已经在付费的那组提供商账号,因此同一个策略、同一个预算和同一份请求记录可以覆盖所有这些账号——包括 Bedrock。
一天后才有的账单美元金额,或每个请求的估算
AWS 的成本归因就是真实账单:应用推理配置文件和 Projects 会把标签带入 Cost Explorer 和 Cost and Usage Report。AWS 自己的页面也说明了随之而来的取舍——最细粒度是按每天每种使用类型,而不是按请求;已激活的标签最长可能需要 24 小时才会显示,且不会回溯;一个应用推理配置文件只绑定一个模型,因此每种模型、团队和标签组合都需要各自的配置文件。INFRO 在每个请求发生时就为其定价,使用厂商公布的费率,或在 Team 套餐中使用你的协商价,并把它归因到项目、密钥、模型、路由或终端用户。这个数字是估算而不是发票,因此 Business 套餐会把当月与 OpenAI 和 Anthropic 自己的成本 API 核对并说明差异。
告警和拒绝策略,或直接拒绝请求
在 AWS 上,支出控制靠的是 AWS Budgets:在阈值处告警,以及在越过阈值后应用 IAM 或服务控制策略的预算动作。这是在支出已被记录之后的账号级控制。INFRO 在调用提供商之前检查组织、项目、成员或密钥的阻断型预算,没有余量时以 402 拒绝;没有已知价格的模型会在阻断型预算下被拒绝,除非所有者允许未定价流量。它计算的是 INFRO 对提供商费用的估算,而不是提供商的发票。
不是二选一
Bedrock 可以成为 INFRO 路由的提供商之一。该连接使用 Bedrock API 密钥,调用运行时兼容 OpenAI 的 Chat Completions 端点,目前提供 Bedrock 在该端点上开放的 OpenAI、xAI、Moonshot 和 MiniMax 模型。Bedrock 上的 Claude、Llama、Nova 和 Cohere 需要 Converse API,而 INFRO 目前尚不支持,因此暂时请通过这些厂商自己的账号或其他云访问它们。支出仍然计入你的 AWS 账单;INFRO 在你其余的资源之间补充预算、归因和故障转移。

并排对比。

我们这一栏也有横线。一方全是勾的对比没人会信,而且理应如此。

能力Amazon BedrockINFRO
来自众多厂商的模型是Bedrock 的目录,在 AWS 上运行是你所连接的提供商能提供的一切
你与提供商的直接合同否仅限 Bedrock 托管的模型是OpenAI、Anthropic、Google、Azure、Bedrock 等
模型支出计入你的 AWS 账单是部分针对发送到你的 Bedrock 连接的流量
按团队或应用划分的成本部分标签;每日、实际计费美元、不回溯是按请求:项目、密钥、终端用户
来自提供商自己账单的成本是Cost Explorer 和 CUR部分估算;Business 套餐对 OpenAI 和 Anthropic 进行对账
会拒绝请求的预算部分AWS Budgets 告警和拒绝策略动作是组织、项目、成员、密钥;402
故障转移部分Bedrock 内的跨区域推理是跨你自己的提供商,包括 Bedrock
护栏是Bedrock Guardrails 和 ApplyGuardrail部分模式匹配加可选的分类器检查;聊天补全;Business 套餐
按模型的访问控制是IAM是组织、项目和密钥层级的角色与允许列表
在你的云账号内运行是部分托管;企业协议可自托管
现已可用是是自助注册

这是我们对各产品公开文档的解读,截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变,对别人的业务给出一个错误的数字,不如不给。认为某一行有误?请告诉我们,我们会更正。

算一算这些差异值多少

按你的提供商的公开价,估算你当前的模型组合要花多少、需要哪个套餐;或者让我们读取你的真实用量,告诉你我们在哪些地方能帮上忙、哪些地方帮不上。

已经在用 Amazon Bedrock?阅读从 Amazon Bedrock 迁移的指南:哪些代码要改,哪些可以沿用,哪些不行。