オープンソースのLLMオブザーバビリティと評価
INFRO vs Langfuse
Langfuseは、LLMアプリケーションのトレース、評価、改善のためのオープンソースプラットフォームです。モデル呼び出し、ツール、検索にまたがるネストしたトレース、バージョンとラベル付きのプロンプト管理、LLM-as-a-judgeと人による評価、データセットと実験、品質・コスト・レイテンシーのダッシュボードを備えています。エンタープライズフォルダー以外はMITライセンスで、Docker、Kubernetes、Terraformでセルフホストでき、2026年1月からClickHouseの一部となっていますが、ロードマップは変わっていません。アプリケーションが何をしたかを記録するものであり、リクエストの経路にはいないため、ルーティング、フェイルオーバー、リクエストの拒否は行いません。
Langfuseのほうが適している場合
- オブザーバビリティと評価がすべての仕事の場合です。ルーティングとプロバイダーへのアクセスはすでに解決済みで、リクエストを拒否する予算を求める人もいなければ、リクエストの経路にゲートウェイを置くことは不要なスコープです。
- プロンプト管理が必要な場合。Langfuseはプロンプトをバージョン管理し、ラベルでデプロイし、コスト、レイテンシー、スコアでバージョンを比較します。INFROにはプロンプト管理がなく、その予定日もありません。
- モデル呼び出しだけでなく、エージェントをトレースする場合。Langfuseは、ツール呼び出し、検索ステップ、モデル呼び出しにまたがるスパンのツリーを記録します。INFROはゲートウェイのリクエストごとに1件の記録を残し、スパンのツリーは自分のコレクターで組み立てることになります。
- 評価は、日常的に使うことになる製品機能です。データセット、実験、アノテーションキュー、カスタムスコアなどがあります。INFROの評価モニターは、提供したチャット回答の一部をルーブリックに照らして採点するもので、はるかに範囲が狭いものです。
- オープンソースソフトウェアをセルフホストしたい、または費用なしで始めたい場合。Langfuseには無料のHobbyティアがあり、自分で運用するなら無料です。INFROのプランは有料で、14日間のトライアルがあり、お客様自身のインフラで動作するのはエンタープライズ契約がある場合に限られます。
- 今すぐ、トレースを特定のリージョンに保持する必要がある場合。Langfuse Cloudは、米国、EU、日本のリージョンを提供しています。INFROのリージョン別処理はロードマップ上にあります。
このセクションは社交辞令ではありません。どれかに当てはまるなら、Langfuseを選んでください。当社の助言で合わないレイヤーを導入したお客様は、最初から取引がなかったお客様よりも当社にとって悪い結果です。
両者が実際に分かれるところ。
- リクエストの横で、またはリクエストの中で
- Langfuseは、アプリケーションが送ってきたもの（SDK、OpenTelemetry、LiteLLMなどのゲートウェイから）を受け取り、呼び出しの後で記録します。INFROはアプリケーションが呼び出すエンドポイントです。プロバイダー接続を選び、お客様自身のアカウント間で再試行とフェイルオーバーを行い、リクエストを処理しながら記録します。前者は何が起きたかを教えてくれます。後者は何が起きるかも決めます。予算、許可リスト、フェイルオーバーのルールが作用できるのは、そこだけです。
- アラートは制限ではない
- Langfuseは、支出がしきい値を超えたときに通知できます。INFROは、プロバイダーを呼び出す前に、リクエストの推定コストを、組織、プロジェクト、メンバー、キーの予算と照らし合わせ、超過する場合は、その予算を示すエラーで拒否します。想定外の請求が管理したいリスクなら、この違いこそが問いのすべてです。
- コストの数字の出どころ
- Langfuseは、編集可能なモデル定義から取り込み時にコストを計算するか、送られたコストをそのまま保存します。INFROは、すべてのリクエストをベンダーの定価、またはTeamプラン以降は契約で実際に適用される料金で見積もり、料金が分からない場合は推測せずに価格未設定と示します。Businessプランでは、月の見積もりをOpenAIとAnthropicそれぞれのコストAPIと照合し、差異を明示します。
- 併用できます
- 多くのチームは、Langfuseの評価とプロンプトのツールに加えて、リクエストの経路にコントロールプレーンも置きたいと考えるでしょう。INFROは、リクエストの経路からOpenTelemetryのスパンを、指定したコレクターに送信します（Teamプラン以降）。LangfuseはOpenTelemetryを受け付けます。この組み合わせについて検証済みの手順はまだ公開していないため、ドキュメント化された統合ではなく、出発点として扱ってください。
並べて比較。
当社の列にもダッシュがあります。片方がすべてチェックマークの比較は誰も信じませんし、それは当然です。
| 機能 | Langfuse | INFRO |
|---|---|---|
| リクエストの経路上にいる | いいえ送られたトレースを記録 | はいOpenAI互換エンドポイント |
| ルーティング、再試行、フェイルオーバー | いいえBYOKゲートウェイはロードマップ上にある | はいお客様自身のプロバイダーアカウント全体で |
| リクエストを拒否する予算 | いいえ支出アラートは通知 | はい組織、プロジェクト、メンバー、キー |
| モデルとプロバイダーの許可リスト | いいえ | はい |
| リクエストごとの推定コスト | はいモデル定義から推定、または取り込み | はいTeam以降は交渉済みの料金で |
| プロバイダー自身の請求との照合 | いいえ | 一部OpenAIとAnthropic、Businessプラン。差異を表示 |
| ネストしたエージェントのトレース | はいツール、検索、モデルにまたがるスパン | 一部リクエストごとに1件の記録。OpenTelemetryエクスポート |
| プロンプト管理 | はいバージョン、ラベル、プレイグラウンド | いいえ未構築 |
| 評価とデータセット | はいLLM-as-a-judge、アノテーション、実験 | 一部提供したチャット回答に対する評価モニター |
| セルフホスト | はいee/以外はMITライセンス | 一部Enterprise契約 |
| 無料のエントリー | はいHobbyティア、またはセルフホスト | いいえ有料プラン、14日間のトライアル |
2026年10月時点の、各製品の公開ドキュメントに基づく当社の解釈です。競合他社の価格は引用しません。価格は変わりますし、他社の事業について間違った数字を載せるくらいなら、載せないほうがましだからです。誤りだと思う行があれば、お知らせください。修正します。
その違いの価値を算出する
現在のモデル構成がプロバイダーの定価でいくらになるか、どのプランが必要かを見積もるか、実際の使用量を当社が確認し、役に立てる点と立てない点をお伝えします。