ユースケース信頼性
プロバイダーが停止しても、AI機能は応答し続けます。
すでにお持ちのプロバイダーアカウントの前に、名前付きルートを置きます。レスポンスが始まる前にタイムアウトまたは失敗したリクエストは、お客様が選んだ次のターゲットで再試行され、クライアントに見えるのは障害ではなく、1つの応答です。
ルートの例です。クライアントが送るリクエストは1つで、トレースにはすべての試行が残ります。
課題
コントロールプレーンがない場合
- プロバイダーのインシデントは、その続くあいだ、自社のプロダクトのインシデントになる。
- フォールバックのロジックはすべてのサービスにあり、チームごとに書き方が違う。
- 廃止されたモデルは、リクエストが失敗し始めたときに初めて見つかる。
INFROがある場合
- ルートは、お客様自身の接続に対する優先度付きまたは重み付きのターゲットを列挙します。
- フェイルオーバーはゲートウェイ内で起こり、クライアントがエラーを目にする前に行われます。
- 廃止は事前に告知され、終了日以降は名前を示して拒否されます。
仕組み
すでにお支払いのアカウントを接続
2つ以上のプロバイダーのキー、または1つのプロバイダーの2つのキーとホストを追加してください。何も転売されず、各プロバイダーは今までどおり請求します。
ルートに名前を付ける
ターゲットを、優先度順または重みで並べます。コードはモデルIDではなくルートの名前を呼び出すため、順序はデプロイなしで変えられます。
障害が何を意味するかを決める
障害ルールは、障害の種類ごとに、再試行するか、次のターゲットに移るか、停止するかを選び、if-ルールは、一致するリクエストを専用のターゲットに送ります。
得られるもの
いずれもドキュメント化されており、どのプランに含まれるかを明記しています。プランの記載がないものは、すべてのプランに含まれます。
名前付きルート
お客様自身の接続に対する、優先度付きまたは重み付きのターゲット。ヘルスチェック、再試行、フェイルオーバー付き。
ドキュメント最初のバイトの前にフェイルオーバー
レスポンスの開始前にタイムアウトまたは5xxを返したターゲットは、クライアントに見せることなく別の場所で再試行されます。
ドキュメントif-ルールと障害ルール
メタデータ、機能、エンドユーザー、キー、プロジェクト、プロンプトのサイズ、ストリーミング、ツール、時間帯で、リクエストを専用のターゲットに振り分け。
ドキュメント代替ホストとキーの分散
1つの接続に、同じキーで複数のホストを登録できます。モデルを直接指定したリクエストは、プロバイダーのキー間に分散され、待機用キーは最後です。
ドキュメントモデルの提供終了
廃止予定のモデルにまだリクエストを送っている組織に警告します。終了日以降は、置き換え先を示して、呼び出しの前に拒否されます。
ドキュメントお客様のキーから得られる可用性
お客様自身のキーが返すモデルリストは、3時間ごとに読み取られ、リストから外れたモデルは提示されなくなります。
ドキュメント
対象
- プラットフォームチームすべてのサービスがすべてのプロバイダーにどう到達するかを、リポジトリごとのフォールバックライブラリではなく、1か所で定義。
- オンコールエンジニア失敗した各試行は、プロバイダー自身のメッセージとともにトレースに残るため、最初の疑問はページが鳴る前に答えが出ます。
- プロダクトオーナープロバイダーの調子の悪い午後が、ユーザーの調子の悪い午後にならない。
よくある質問
フェイルオーバーは、選んでいないモデルに切り替わりますか？
いいえ。ルートが移動するのは、そこに列挙したターゲットだけで、お客様が設定した順序または重みに従います。INFROが、お客様に代わって別のモデルで応答することはありません。
ストリームが途中で失敗したら、どうなりますか？
フェイルオーバーが適用されるのは、レスポンスが始まる前です。トークンがクライアントに届いた後は、リクエストが別の場所で再送されることはなく、エラーが返され、トレースに記録されます。
複数のプロバイダーのアカウントが必要ですか？
役立ちますが、必須ではありません。1つのプロバイダーの2つのキー、または1つのキーと代替ホストがあれば、ルートの行き先はすでにあります。すべてのアカウントはお客様のもので、直接請求が届きます。
契約の全文はルートのドキュメントにあり、その他の質問はFAQにあります。
フィールドガイド
- フィールドガイドCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- フィールドガイドFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- フィールドガイドSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
始める
自社のプロバイダーアカウントで試す。
プロバイダーを接続し、ゲートウェイキーを作成し、ベースURLを1つ変えるだけ。プロバイダーからの直接請求はそのままで、モデル支出への上乗せは0%です。