跳到正文

使用场景支出控制

会拒绝请求的支出限额,而不是只报告的限额。

为组织、项目、成员或网关密钥设置上限。限额无法覆盖的请求会在你的提供商看到之前以 402 拒绝,因此循环、泄露的密钥或繁忙的智能体会在你选定的数字处停下。

密钥 ci-agent · 限额 $50.00 / 月 · 阻断示例
迄今已花费$49.82 预估提供商费用
下一个请求预估 $0.31
结果402 budget_exceeded · 代码 key_budget
提供商未调用

密钥示例。限额计算的是 INFRO 对提供商费用的估算,而不是提供商的发票。

问题所在

没有控制平面

  • 提供商的控制台告诉你花了多少,但那是花完之后。
  • 一个失控的脚本或一个泄露的密钥,就能在一个下午用光一个月的预算。
  • 每个团队共用同一个提供商密钥,所以没人对某个数字负责。

使用 INFRO

  • 每个请求都会在调用提供商之前检查限额。
  • 每个项目、成员和密钥都有自己的上限和告警阈值。
  • 拒绝会指明是哪个范围拒绝的,这样合适的人就能采取行动。

运作方式

  1. 给每个工作负载各自的密钥

    每个服务、智能体或开发者一个密钥,每个都在项目内。从第一个请求起就按密钥记录支出。

  2. 设定上限

    组织、项目、成员和密钥层级的限额,各自可设为阻断或仅告警,告警阈值由你自己设定。

  3. 让网关来强制执行

    每个请求的预估成本在调用之前先被预留。限额无法覆盖的请求会返回 402 budget_exceeded,并且永远不会到达提供商。

你能得到什么

每一项都有文档说明,并注明包含它的套餐。未注明套餐的,所有套餐都提供。

  • 每一层级的限额

    组织、项目、成员和密钥各有硬上限,告警阈值由你自己设定。

    文档
  • 在调用之前被拒绝

    限额无法覆盖的请求,会在提供商看到之前以 402 拒绝;错误会指明范围。

    文档
  • 支出告警与预测

    偏离日常模式的一天,或预测将超出的预算,会通过邮件、Slack 或 webhook 变成一条发现。

    文档
  • 密钥限额

    将密钥限制在选定的提供商或 IP 范围,将其关闭,或带重叠窗口地轮换它。

    文档
  • 按终端客户设置上限Team 起

    为你产品的每位终端客户设置同一个支出上限,覆盖值由你的后端设置。

    文档
  • 拒绝未定价流量

    没有已知费率的模型会在限额下被拒绝,除非你允许未定价流量,因此限额绝不会把猜测当作 $0 计算。

    文档

适用对象

  • 工程主管给每位开发者和智能体一个带上限的密钥,不再凭信任批准支出。
  • 财务每个团队一个会被强制执行的数字,而不是每个团队一个只能寄望的数字。
  • 创始人失控的循环最多花掉你在该密钥上设置的限额。

常见问题

限额与我提供商发票精确到分吗?

限额计算的是 INFRO 根据其已知费率、或你已录入的协商价得出的提供商费用估算。提供商的发票才是最终数字;在提供商公布成本数据的地方,对账会对比两者。

限额在并发请求下依然有效吗?

每个请求在调用之前会预留其估算额度,因此突发流量不会同时通过一次检查。500 个并发请求的沙盒测试的方法和结果,发布在下方链接的实践指南中。

限额可以只告警而不阻断吗?

可以。每项限额都可设为阻断或仅告警,告警阈值由你自己设置。

完整约定见支出控制文档,其他所有问题见 FAQ。

开始使用

在你自己的提供商账号上试用。

连接一个提供商,创建一个网关密钥,修改一个基础 URL。你的提供商继续直接向你收费;模型支出零加价。