跳到正文

使用场景模型变更

模型会在你脚下发生变化。赶在你的用户之前发现。

厂商会按自己的时间表淘汰模型、更换快照并更改默认值。当你仍在发送即将淘汰的模型时,INFRO 会发出警告并指明替代模型,让路由无需部署即可迁移流量,并报告流量中那些没有报错的变化。

发现 · 流量变化 · 最近 7 天示例
模型自周二起由新的快照作答
输出同样的提示词,回答长了 38%
成本影响+$214 预估提供商费用 / 周
可能原因厂商快照变更,未返回错误

发现示例。INFRO 看到的是请求元数据而不是回答,所以不判断回答的质量。

问题所在

没有控制平面

  • 已淘汰的模型在厂商关停之日于生产环境中失败。
  • 新的快照悄悄地回答得更长、更慢,或不再使用缓存。
  • 换到新模型,需要在每个服务中修改代码。

使用 INFRO

  • 在你仍在发送时就标出即将淘汰的模型,并附上日期。
  • 报告流量变化及其可能原因和每周成本影响。
  • 路由名称在其目标变化时依然可用。

运作方式

  1. 获得预警

    INFRO 记录各厂商的弃用和关停日期,并向仍在发送即将淘汰模型的组织发出警告。

  2. 通过路由迁移

    让沿用旧名称的路由指向替代模型。路由名称先于目录模型解析,因此调用方无需改动。

  3. 观察发生了什么变化

    流量变化会标出新的快照、更长的回答、丢失的提示词缓存、更多的回退或更慢的响应,并各自附上可能的原因。

你能得到什么

每一项都有文档说明,并注明包含它的套餐。未注明套餐的,所有套餐都提供。

  • 淘汰预警

    仍在发送即将淘汰模型的组织,会在关停日期之前收到警告。

    文档
  • 指名拒绝,绝不替换

    从关停日期起,该模型在任何调用之前就会以 model_shut_down 被拒绝,并指明替代模型。

    文档
  • 以路由作为稳定的名称

    一条路由可以沿用旧模型的名称并指向其替代模型,因此无需修改任何调用方。

    文档
  • 流量变化

    没有报错的变化:新的快照、更长的回答、丢失的提示词缓存、更多的回退、被截断的回答,或更慢的响应。

    文档
  • 来自你自己密钥的可用性

    你自己密钥的模型列表每三个小时读取一次,不再被列出的模型也不再被提供。

    文档
  • 在你工作的地方收到发现

    发现通过邮件发送,所有套餐均有,包含告警渠道的套餐还可发送到 Slack、Teams、PagerDuty 或带签名的 webhook。

    文档

适用对象

  • 平台团队厂商的弃用通知变成一条附带你流量的发现,而不是一个日历提醒。
  • 值班工程师拒绝时指明替代模型,而不是在 00:00 UTC 突然出现一个笼统的 404。
  • 工程经理厂商快照带来的成本变化在几天内就能发现,而不是等到下个月的发票。

常见问题

INFRO 会自动把我的流量迁到替代模型上吗?

不会。INFRO 绝不会代你用另一个模型作答。它会指名拒绝一个已关停的模型,是否让路由指向替代模型由你决定。

INFRO 会判断新的快照回答得更好还是更差吗?

不会。它看到的是请求元数据而不是回答,所以它报告的是可测量的变化(长度、延迟、缓存、回退、错误)及其预估成本影响,而不是质量。

淘汰日期从哪里来?

取自各厂商自己的弃用页面,并记录读取的日期。公开的 AI 动态时间线列出同样的发布和关停。

完整约定见流量变化文档,其他所有问题见 FAQ。

开始使用

在你自己的提供商账号上试用。

连接一个提供商,创建一个网关密钥,修改一个基础 URL。你的提供商继续直接向你收费;模型支出零加价。