LLMルーターとゲートウェイ
INFRO vs Requesty
Requestyは、OpenAI互換のルーティングゲートウェイです。数百のモデルに対する1つのエンドポイントで、フォールバック、ロードバランシング、レイテンシーベースのルーティングポリシー、自動キャッシュ、チーム・ユーザー・キー別の予算、PIIとシークレット向けのガードレール、承認済みモデルのリスト、レスポンスに含まれるリクエストごとのコストを備えています。Requestyのキーもお客様自身のキーも、モデルごとに使い分けられます。このリストの中ではINFROと最も重なり合う部分が大きく、意見が分かれるのはスコープについてであり、ルーティングを行う価値があるかどうかではありません。
Requestyのほうが適している場合
- ワークロードがテキスト中心で、今後もそうである見込みの場合。INFROがメディア向けに備える追加の機能は、使わない費用になります。
- 処理をEU内に留める必要がある場合。RequestyはEUエンドポイントとEUホストのモデルをドキュメント化しています。リージョンごとの処理はINFROのロードマップ上にあり、現時点では利用できません。
- 一部のモデルにはプラットフォームのプロバイダーキーを使い、他のモデルにはお客様自身のキーを使うという選択肢が欲しい場合。INFROは、お客様が接続したアカウントでしか動作しません。
- 先方固有のキャッシュやルーティングポリシーの挙動が、お客様の働き方に合う場合です。両方のドキュメントを読んでください。これはマーケティング上の問いではなく、本物の評価だからです。
このセクションは社交辞令ではありません。どれかに当てはまるなら、Requestyを選んでください。当社の助言で合わないレイヤーを導入したお客様は、最初から取引がなかったお客様よりも当社にとって悪い結果です。
両者が実際に分かれるところ。
- 4つのモダリティか、1つか
- 6秒の動画のレンダリングのルーティングは、数分かかり、Webhookで結果が返り、プロバイダーの保持期間を超えて残す必要があるファイルを生成するジョブであり、チャット補完のルーティングとは別の問題です。その両方を担うことが、INFROが下した設計上の判断です。
- お金がどこにあり、誰が持っているか
- メディア中心のプロダクトでは、支出が画像、動画、音声に集中しますが、それらはテキスト優先のゲートウェイのダッシュボードで最も見えにくいワークロードです。INFROは4つのモダリティすべてに対応し、そのコストを同じ方法で、お客様自身のプロバイダーの料金、お客様自身のアカウントに基づいて配分します。INFROはどちらの場合もその0%しか取りません。そのため、INFROの動機は、その支出を増やすことではなく、見えるようにすることにあります。
- 設定ではなく、製品としてのガバナンス
- メンバーロール、4つのレベルの上限、モデル許可リスト、管理操作の監査証跡により、プラットフォームチームに共通の制御が揃います。Businessプランからは、SAML/OIDCのシングルサインオンとSCIMディレクトリプロビジョニングも使えます。
並べて比較。
当社の列にもダッシュがあります。片方がすべてチェックマークの比較は誰も信じませんし、それは当然です。
| 機能 | Requesty | INFRO |
|---|---|---|
| テキストモデルへのアクセス | はい | はい |
| 画像、動画、音声 | 一部画像と音声のエンドポイント。動画はドキュメントに記載なし | はい |
| ルーティングとフォールバック | はい | はい |
| お客様自身のプロバイダーアカウント | 一部モデルごと、ルーティングポリシー内で | はいすべてのリクエスト |
| 分析とコスト追跡 | はい | はい |
| 支出の制御 | はいチーム、ユーザー、キー | はい組織、プロジェクト、メンバー、キー |
| ガードレール | はいPIIとシークレット。レポートまたはマスク | 一部チャットのパターンとプロンプト分類器。Businessプラン |
| プロバイダー自身の請求との照合 | いいえ | 一部OpenAIとAnthropic、Businessプラン。差異を表示 |
| EUデータレジデンシー | はいEUエンドポイントとEUホストのモデル | いいえロードマップ上 |
| 非同期ジョブと署名付きWebhook | 一部 | はい |
| 現在利用可能 | はい | はいセルフサービスのサインアップ |
2026年10月時点の、各製品の公開ドキュメントに基づく当社の解釈です。競合他社の価格は引用しません。価格は変わりますし、他社の事業について間違った数字を載せるくらいなら、載せないほうがましだからです。誤りだと思う行があれば、お知らせください。修正します。
その違いの価値を算出する
現在のモデル構成がプロバイダーの定価でいくらになるか、どのプランが必要かを見積もるか、実際の使用量を当社が確認し、役に立てる点と立てない点をお伝えします。
すでにRequestyをお使いですか？Requestyからの移行ガイドを読む：変わるコード、引き継がれるもの、引き継がれないもの。