问题所在
没有控制平面
- 已淘汰的模型在厂商关停之日于生产环境中失败。
- 新的快照悄悄地回答得更长、更慢,或不再使用缓存。
- 换到新模型,需要在每个服务中修改代码。
使用 INFRO
- 在你仍在发送时就标出即将淘汰的模型,并附上日期。
- 报告流量变化及其可能原因和每周成本影响。
- 路由名称在其目标变化时依然可用。
运作方式
获得预警
INFRO 记录各厂商的弃用和关停日期,并向仍在发送即将淘汰模型的组织发出警告。
通过路由迁移
让沿用旧名称的路由指向替代模型。路由名称先于目录模型解析,因此调用方无需改动。
观察发生了什么变化
流量变化会标出新的快照、更长的回答、丢失的提示词缓存、更多的回退或更慢的响应,并各自附上可能的原因。
你能得到什么
每一项都有文档说明,并注明包含它的套餐。未注明套餐的,所有套餐都提供。
淘汰预警
仍在发送即将淘汰模型的组织,会在关停日期之前收到警告。
文档指名拒绝,绝不替换
从关停日期起,该模型在任何调用之前就会以 model_shut_down 被拒绝,并指明替代模型。
文档以路由作为稳定的名称
一条路由可以沿用旧模型的名称并指向其替代模型,因此无需修改任何调用方。
文档流量变化
没有报错的变化:新的快照、更长的回答、丢失的提示词缓存、更多的回退、被截断的回答,或更慢的响应。
文档来自你自己密钥的可用性
你自己密钥的模型列表每三个小时读取一次,不再被列出的模型也不再被提供。
文档在你工作的地方收到发现
发现通过邮件发送,所有套餐均有,包含告警渠道的套餐还可发送到 Slack、Teams、PagerDuty 或带签名的 webhook。
文档
适用对象
- 平台团队厂商的弃用通知变成一条附带你流量的发现,而不是一个日历提醒。
- 值班工程师拒绝时指明替代模型,而不是在 00:00 UTC 突然出现一个笼统的 404。
- 工程经理厂商快照带来的成本变化在几天内就能发现,而不是等到下个月的发票。
实战指南
- 实战指南September 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
- 实战指南Failover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.