自分でホストするオープンソースのLLMゲートウェイ
INFRO vs LiteLLM
LiteLLMは、最も広く使われているオープンソースのLLMゲートウェイの1つです。Python SDKと、100社以上のプロバイダーに到達できるセルフホスト型のOpenAI互換プロキシで、仮想キー、キー・ユーザー・チーム・エンドユーザー別の予算、ロードバランシングとフォールバック、支出追跡、キャッシュ、ガードレール連携、ロギングコールバックを備えています。コアはMITライセンスで、組織、監査ログ、一部の管理機能は商用のエンタープライズライセンスの対象です。ゲートウェイを自分で運用したいなら、これが標準の選択肢であり、その評価に値します。
最終確認日
- ベンダーとの契約なしに、自分の条件で、自分のインフラにゲートウェイを置いて運用したい場合。LiteLLMは誰でもセルフホストできるよう作られています。INFROのセルフホストとハイブリッドのデプロイは、エンタープライズ契約がある場合に限られます。
- 読んで、修正して、フォークできるオープンソースのコードが欲しく、コアにサブスクリプションをかけたくない場合。
- INFROが接続していないプロバイダーが必要な場合。100社を超える先方のカタログは、当社のプロバイダー種別のリストよりはるかに広範です。
- プロンプト管理、セマンティックキャッシュ、または特定のガードレールベンダー（Presidio、Lakera、Bedrock Guardrailsなど）が要件に含まれる場合です。INFROにはプロンプト管理がなく、ガードレールは、チャット補完に対するPII、シークレット、お客様独自の用語のパターンベースのチェックと、Businessプランでお客様自身の意思決定モデル接続で実行するプロンプトのみの分類器チェックです。
- Pythonからモデルを呼び出し、ゲートウェイを経由せず、ライブラリとしてプロセス内でルーティングしたい場合。
このセクションは社交辞令ではありません。どれかに当てはまるなら、LiteLLMを選んでください。当社の助言で合わないレイヤーを導入したお客様は、最初から取引がなかったお客様よりも当社にとって悪い結果です。
両者が実際に分かれるところ。
- 自分で動かすソフトウェアか、利用するサービスか
- LiteLLMプロキシは、お客様が運用するものです。仮想キーと支出追跡にはPostgresデータベースが必要で、1インスタンスを超える場合、共有の制限とルーターの状態にはRedisが必要です。なければ各インスタンスが個別に制限を適用します。アップグレード、スケーリング、バックアップ、オンコールも導入の一部です。この種のサービスをすでに運用しているプラットフォームチームには合いますが、そうでないチームには相応の負担です。INFROのプランはホスト型で、デプロイするものはありません。その代わり、ちょうど裏返しのトレードオフがあります。リクエストは、お客様のサービスではなく当社のサービスを通ります。エンタープライズ契約により、INFROをお客様自身のインフラに置くことも可能です。契約がない場合は、まさにそのケースこそ、LiteLLMのほうが適した選択です。
- 組織の制御がどこにあるか
- LiteLLMでは、組織とその管理者ロール、監査ログ、5ユーザーを超えるシングルサインオンは、エンタープライズライセンスの機能です。INFROでは、プロジェクト、環境、5つのロール、組織・プロジェクト・キー単位のモデル許可リスト、予算、誰がどのポリシーを変更したかの監査ログが、エントリープランを含むすべてのプランに含まれます。SAML/OIDCのSSOとSCIMはBusinessプランに含まれます。これらは新しい機能で、お客様のIDプロバイダーに対して本番で稼働した実績がまだないため、最初の接続は私たちが一緒に設定します。
- 推定費用、そしてプロバイダー自身の数値
- どちらの製品も、価格表から各リクエストのコストを見積もり、お客様独自の料金を受け付けます。LiteLLMは、自社の支出とOpenAIのCosts APIとの照合を、今後のリリースで提供予定と記載しています。Businessプランでは、INFROは月の見積もりをOpenAIとAnthropicそれぞれのコストAPIと照合し、差異がないと決めつけずに、差異を明示します。
- どちらか一方ではありません
- すでに運用しているLiteLLMプロキシはOpenAI APIに対応しているため、OpenAI互換エンドポイントとしてINFROに接続できます。LiteLLMだけが到達できるプロバイダーのために残し、環境全体の前段にINFROの予算、配分、監査証跡を置いてください。
月額 $2K、$20K、$60K でのゲートウェイの費用。
LiteLLM は MIT ライセンスのゲートウェイに料金を請求しません。費用になるのはサーバー、Postgres データベース、そして運用を担う人員で、これはどの表でも代わりに算出できません。INFRO はリクエスト量に応じた定額プランです。
| 月間のモデル支出 | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM（セルフホスト）ライセンス料なし。サーバー、Postgres、オンコール対応は別途で、ここには含めていません | $0ライセンスのみ | $0ライセンスのみ | $0ライセンスのみ |
| INFROリクエスト量に応じた定額プラン、上乗せ 0% | $35Developer、100K リクエスト | $199Team、1M リクエスト | $599Business、3M リクエスト |
ゲートウェイ自体の料金のみです。モデル支出はすべての行で同じで、含めていません。INFRO のプランは支出ではなくリクエスト数に応じるため、INFRO の行ではリクエストあたり平均 $0.02 のモデル支出を仮定しています（100K, 1M, 3M リクエスト）。これは例示であり、実測の平均ではありません。月払いの場合です。年払いプランは月あたりの費用が少なくなります。ご自身の数値はゲートウェイ費用計算ツールで試せます。
LiteLLM のほうが費用が少ないケース：LiteLLM（セルフホスト）、月 $2,000 の場合（$0、INFRO Developer は $35）; LiteLLM（セルフホスト）、月 $20,000 の場合（$0、INFRO Team は $199）; LiteLLM（セルフホスト）、月 $60,000 の場合（$0、INFRO Business は $599）。
LiteLLM から移行するために必要なこと。
- 01クライアントは OpenAI SDK のままです。ベース URL を LiteLLM プロキシから
https://api.infro.io/v1に変更し、INFRO のゲートウェイキーを使います。 - 02LiteLLM の
model_listにある各プロバイダーは INFRO の接続済みプロバイダーアカウントになり、モデルのエイリアスはvendor/model形式の ID か名前付きルートになります。 - 03仮想キーは、支出上限と許可するプロバイダーおよびモデルを持つゲートウェイキーになります。チームはプロジェクトに、ユーザーごとの予算はエンドカスタマーの上限（Team プラン）に対応します。
- 04ルーター設定（フォールバック、リトライ、負荷分散）は、ルートのターゲットと失敗時のルールになります。
- 05LiteLLM の Python SDK を同一プロセス内で使って構築したものはそのまま使えます。あるいは、ほかの OpenAI 互換エンドポイントと同じように INFRO を呼び出せます。プロキシを残し、OpenAI 互換プロバイダーとして INFRO に接続することもできます。
並べて比較。
当社の列にもダッシュがあります。片方がすべてチェックマークの比較は誰も信じませんし、それは当然です。
| 機能 | LiteLLM | INFRO |
|---|---|---|
| 多数のプロバイダーにまたがる1つのAPI | はい100社以上のプロバイダー | はい接続したプロバイダー |
| ルーティング、再試行、フェイルオーバー | はい | はい |
| お客様自身のプロバイダーアカウント | はいお客様のキーで自分で運用 | はい環境ごとに接続 |
| セルフホストとオープンソース | はいMITライセンスのコア | 一部契約によりセルフホスト。ゲートウェイはオープンソースではない |
| デプロイも運用も不要 | いいえPostgres。1インスタンスを超える場合はRedis | はいホスト型サービス |
| キー、ユーザー、チーム、エンドユーザー別の予算 | はい | はい |
| お客様自身の料金によるリクエストごとのコスト | はいカスタム料金 | はいTeam以上で交渉済みの料金 |
| プロバイダー自身の請求との照合 | 一部OpenAIのみ、今後のリリースで予定 | 一部OpenAIとAnthropic、Businessプラン。差異を表示 |
| ガードレールとPIIマスキング | はい多数の統合 | 一部チャットのパターンとプロンプト分類器。Businessプラン |
| プロンプト管理 | はい | いいえ未構築 |
| 組織ロールと監査ログ | 一部エンタープライズライセンス | はいすべてのプラン |
| 画像、動画、音声 | はい | はい |
| 現在利用可能 | はい | はいセルフサービスのサインアップ |
2026年10月時点の、各製品の公開ドキュメントに基づく当社の解釈です。競合他社の価格は引用しません。価格は変わりますし、他社の事業について間違った数字を載せるくらいなら、載せないほうがましだからです。誤りだと思う行があれば、お知らせください。修正します。
その違いの価値を算出する
現在のモデル構成がプロバイダーの定価でいくらになるか、どのプランが必要かを見積もるか、実際の使用量を当社が確認し、役に立てる点と立てない点をお伝えします。
すでにLiteLLMをお使いですか？LiteLLMからの移行ガイドを読む：変わるコード、引き継がれるもの、引き継がれないもの。
3つ以上の選択肢を比較しますか？LiteLLMの代替サービスをすべて比較。それぞれが適している場面もまとめています。
出典
LiteLLMに関するこのページの数値はすべて、表示された日付に開いた同社自身のページに基づいています。
- 1.litellm.ai （新しいタブで開きます） — 確認日 Oct 24, 2026。 The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy （新しいタブで開きます） — 確認日 Oct 24, 2026。 The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise （新しいタブで開きます） — 確認日 Oct 24, 2026。 LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 （新しいタブで開きます） — 確認日 Oct 24, 2026。 On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.