コンテンツへスキップ

ユースケースモデルの変更

モデルは、足元で変わります。ユーザーより先に気づきましょう。

ベンダーは、自社のスケジュールでモデルを廃止し、スナップショットを入れ替え、既定値を変更します。INFROは、廃止予定のモデルにまだリクエストを送っている間に警告し、置き換え先を示し、ルートでデプロイなしにトラフィックを移し、エラーなしで起こるトラフィックの変化を報告します。

検出事項 · トラフィックの変化 · 過去7日間例
モデル火曜日以降、新しいスナップショットが応答
出力同じプロンプトで回答が38%長くなった
コストへの影響週あたり推定プロバイダー費用 +$214
考えられる原因ベンダーのスナップショットの変更、エラーは返されず

検出事項の例です。INFROが見るのはリクエストのメタデータであり回答ではないため、回答の品質は判断しません。

課題

コントロールプレーンがない場合

  • 廃止されたモデルが、ベンダーの終了日に本番で失敗する。
  • 新しいスナップショットが、黙って長く、遅く、またはキャッシュなしで答える。
  • 新しいモデルへの移行は、すべてのサービスでのコード変更になる。

INFROがある場合

  • 廃止予定のモデルは、まだリクエストを送っている間にフラグが付き、日付が示されます。
  • トラフィックの変化を、考えられる原因と週間のコストへの影響とともに報告。
  • ルート名は、ターゲットが変わっても使い続けられる。

仕組み

  1. 警告を受ける

    INFROは、各ベンダーの非推奨と終了日を記録し、廃止予定のモデルにまだリクエストを送っている組織に警告します。

  2. ルートで移行する

    旧名のルートを、置き換え先に向けてください。ルート名はカタログのモデルより先に解決されるため、呼び出し側は何も変えなくて済みます。

  3. 何が変わったかを見る

    トラフィックの変化は、新しいスナップショット、長くなった回答、失われたプロンプトキャッシュ、増えたフォールバック、遅くなったレスポンスにフラグを付け、それぞれに考えられる原因を示します。

得られるもの

いずれもドキュメント化されており、どのプランに含まれるかを明記しています。プランの記載がないものは、すべてのプランに含まれます。

  • 廃止の警告

    廃止予定のモデルにまだリクエストを送っている組織には、終了日の前に警告します。

    ドキュメント
  • 名前を示して拒否し、勝手に差し替えない

    終了日以降、そのモデルは、置き換え先を示すmodel_shut_downで、呼び出しの前に拒否されます。

    ドキュメント
  • 安定した名前としてのルート

    ルートに旧モデルの名前を付けて置き換え先を指すようにできるため、呼び出し側は何も変えなくて済みます。

    ドキュメント
  • トラフィックの変化

    エラーのない変化:新しいスナップショット、長くなった回答、失われたプロンプトキャッシュ、増えたフォールバック、途切れた回答、遅くなったレスポンス。

    ドキュメント
  • お客様のキーから得られる可用性

    お客様自身のキーのモデルリストは3時間ごとに読み取られ、リストから外れたモデルは提示されなくなります。

    ドキュメント
  • 普段の作業場所で検出事項を受け取る

    検出事項は、すべてのプランでメールで届き、アラートチャンネルが含まれるプランではSlack、Teams、PagerDuty、署名付きWebhookにも届きます。

    ドキュメント

対象

  • プラットフォームチームベンダーの非推奨通知は、カレンダーのリマインダーではなく、お客様のトラフィックが付いた検出事項になります。
  • オンコールエンジニアUTC 00:00の汎用的な404ではなく、置き換え先を示す拒否。
  • エンジニアリングマネージャーベンダーのスナップショットによるコストの変化は、翌月の請求書ではなく、数日で見つかります。

よくある質問

INFROは、トラフィックを自動的に置き換え先へ移しますか?

いいえ。INFROが、お客様に代わって別のモデルで応答することはありません。終了したモデルは名前を示して拒否し、ルートを置き換え先に向けるかどうかは、お客様が決めます。

INFROは、新しいスナップショットの回答が良くなったか悪くなったかを判断しますか?

いいえ。INFROが見るのはリクエストのメタデータであり、回答ではないため、測定可能な変化(長さ、レイテンシー、キャッシュ、フォールバック、エラー)と、それによる推定コストへの影響を報告し、品質は報告しません。

廃止日は、どこから得ていますか?

各ベンダー自身の非推奨ページから、読み取った日付とともに記録しています。公開されているAIアップデートのタイムラインにも、同じリリースと終了が掲載されています。

契約の全文はトラフィックの変化のドキュメントにあり、その他の質問はFAQにあります。

始める

自社のプロバイダーアカウントで試す。

プロバイダーを接続し、ゲートウェイキーを作成し、ベースURLを1つ変えるだけ。プロバイダーからの直接請求はそのままで、モデル支出への上乗せは0%です。