AIゲートウェイ比較。

アプリケーションと、それが呼び出すAIモデルプロバイダーの間に入るサービス。コードは1つのエンドポイントにリクエストを送り、ゲートウェイがプロバイダーを選び、障害時には再試行またはフェイルオーバーし、各リクエストの処理内容と費用を記録し、予算、許可モデル、レート制限など設定したポリシーを適用します。製品ごとの主な違いは、誰がプロバイダーアカウントを持つか、ポリシーを呼び出し前に適用するか事後に報告するか、ゲートウェイを自社で運用するかベンダーが運用するか、です。

製品によって異なり、最初に確認すべき点です。お客様がチャージした残高から推論を代わりに購入するプラットフォームもあれば、お客様自身のプロバイダーキーでルーティングし、その利用に手数料をかけることもあるプラットフォーム、両方を提供するものもあります。INFROは後者だけを行い、そこから何も取りません。プロバイダーはお客様自身の料金で直接請求し、INFROはサブスクリプションを請求します。上の表の「コストの所有」列は、各製品のドキュメントを私たちが読んだ解釈です。

リクエスト経路に何かが必要です。上限で拒否できるのは、プロバイダーより先に見たリクエストだけだからです。これを行うゲートウェイはいくつかあります。INFROは呼び出し前に組織、プロジェクト、メンバー、キーごとに予算をチェックし、OpenRouter、Cloudflare AI Gateway、LiteLLMもそれぞれ予算や支出上限を文書化しています。Langfuseのようなオブザーバビリティツールは呼び出し後にコストを記録してアラートを出せます。これは有用ですが、リクエストは止めません。

このページのほぼすべての製品が、リクエストごとのコストを見積もります。違いを分けるのは、見積もりがどの料金を使うか（ベンダーの定価か、契約上の料金か）、価格が不明なモデルをどう扱うか、その数値がプロバイダー自身の請求と照合されるかどうかです。INFROはTeamプランから交渉済みの料金を使い、推測せずにリクエストを価格未設定として記録し、BusinessプランではOpenAIとAnthropicのコストAPIと月の見積もりを照合します。

必ずしもそうではありません。ルーティングとプロバイダーへのアクセスが解決済みで、リクエストを拒否する予算が誰にも必要なければ、Langfuseのようなオブザーバビリティ・評価ツールだけで十分かもしれません。ルーティング、フェイルオーバー、適用される予算が必要ならゲートウェイが必要です。詳細な評価やプロンプト管理も求めるチームは、ゲートウェイからオブザーバビリティツールにトレースをエクスポートし、両方を使うことがよくあります。

各製品の公開ドキュメントを、各ページに記載した日付時点で読んだ内容に基づいています。トライアルやベンチマークではありません。どのページにも、相手の製品の方が適している場合をはっきり書いています。競合の料金は引用せず、ドキュメントがあいまいな箇所は主張せずに評価を控えめにしています。誤りがあると思われる行があれば、お知らせください。修正します。