Open-Source-LLM-Observability und -Evaluation
INFRO vs Langfuse
Langfuse ist eine Open-Source-Plattform zum Tracing, Evaluieren und Verbessern von LLM-Anwendungen: verschachtelte Traces über Modellaufrufe, Tools und Retrieval, Prompt-Management mit Versionen und Labels, LLM-as-a-Judge und menschliche Evaluation, Datensätze und Experimente sowie Dashboards für Qualität, Kosten und Latenz. Es steht außerhalb seines Enterprise-Ordners unter MIT-Lizenz, lässt sich auf Docker, Kubernetes oder Terraform selbst hosten und gehört seit Januar 2026 zu ClickHouse, bei unveränderter Roadmap. Es erfasst, was Ihre Anwendung getan hat; es sitzt nicht im Anfragepfad und routet daher nicht, führt kein Failover durch und lehnt keine Anfrage ab.
- Observability und Evaluation sind die ganze Aufgabe. Routing und Anbieterzugang sind gelöst, niemand verlangt ein Budget, das eine Anfrage ablehnt, und ein Gateway im Anfragepfad wäre Umfang, den Sie nicht brauchen.
- Sie brauchen Prompt-Management. Langfuse versioniert Prompts, deployt sie per Label und vergleicht Versionen nach Kosten, Latenz und Scores. INFRO hat kein Prompt-Management und kein Datum dafür.
- Sie tracen Agents, nicht nur Modellaufrufe. Langfuse erfasst einen Baum von Spans über Tool-Aufrufe, Retrieval-Schritte und Modellaufrufe. INFRO erfasst einen Datensatz pro Gateway-Anfrage, und einen Span-Baum setzen Sie in Ihrem eigenen Collector zusammen.
- Evaluation ist eine Produktoberfläche, in der Sie leben werden: Datensätze, Experimente, Annotationswarteschlangen und eigene Scores. Die Eval-Monitore von INFRO bewerten einen Teil der ausgelieferten Chat-Antworten gegen ein Bewertungsschema, was etwas viel Engeres ist.
- Sie wollen Open-Source-Software selbst hosten oder ohne Kosten starten. Langfuse hat eine kostenlose Hobby-Stufe und ist kostenlos selbst zu betreiben. Die Tarife von INFRO sind kostenpflichtig, mit einer 14-tägigen Testphase, und es läuft nur im Rahmen einer Enterprise-Vereinbarung in Ihrer eigenen Infrastruktur.
- Sie brauchen Ihre Traces heute in einer bestimmten Region. Langfuse Cloud bietet Regionen in den USA, der EU und Japan; die regionale Verarbeitung von INFRO steht auf der Roadmap.
Dieser Abschnitt ist keine Höflichkeit. Wenn einer dieser Punkte auf Sie zutrifft, wählen Sie Langfuse – ein Kunde, der auf unseren Rat hin die falsche Schicht einführt, ist schlechter für uns als einer, den wir nie hatten.
Wo die beiden sich tatsächlich unterscheiden.
- Neben der Anfrage oder in ihr
- Langfuse erhält, was Ihre Anwendung ihm sendet – aus seinen SDKs, aus OpenTelemetry oder von einem Gateway wie LiteLLM – und zeichnet es nach dem Aufruf auf. INFRO ist der Endpunkt, den Ihre Anwendung aufruft: Es wählt die Anbieterverbindung, wiederholt und führt Failover über Ihre eigenen Konten durch und erfasst die Anfrage, während es sie bedient. Das Erste sagt Ihnen, was geschehen ist. Das Zweite entscheidet auch, was geschieht, und nur dort kann ein Budget, eine Freigabeliste oder eine Failover-Regel wirken.
- Eine Warnung ist kein Limit
- Langfuse kann Sie benachrichtigen, wenn die Ausgaben eine Schwelle überschreiten. INFRO prüft die geschätzten Kosten der Anfrage gegen die Budgets von Organisation, Projekt, Mitglied und Schlüssel, bevor der Anbieter aufgerufen wird, und lehnt sie mit einem Fehler ab, der das Budget nennt, wenn sie darüber hinausginge. Wenn eine unerwartete Rechnung das Risiko ist, das Sie steuern, ist dieser Unterschied die ganze Frage.
- Woher die Kostenzahl kommt
- Langfuse berechnet die Kosten bei der Aufnahme aus Modelldefinitionen, die Sie bearbeiten können, oder speichert die Kosten, die Sie senden, unverändert. INFRO schätzt jede Anfrage zum Listenpreis des Herstellers oder ab dem Team-Tarif zu den Preisen, die Ihre Verträge tatsächlich tragen, sagt „ohne Preisangabe“, statt zu raten, wenn es keinen Preis hat, und gleicht im Business-Tarif die Schätzung des Monats mit den eigenen Kosten-APIs von OpenAI und Anthropic ab und benennt die Abweichung.
- Sie können zusammen laufen
- Viele Teams werden die Evaluations- und Prompt-Werkzeuge von Langfuse und eine Control Plane im Anfragepfad wollen. INFRO sendet (ab dem Team-Tarif) OpenTelemetry-Spans aus dem Anfragepfad an einen Collector Ihrer Wahl, und Langfuse akzeptiert OpenTelemetry. Wir haben für diese Kombination noch kein getestetes Rezept veröffentlicht, behandeln Sie sie also als Ausgangspunkt und nicht als dokumentierte Integration.
Nebeneinander.
Auch unsere Spalte hat Striche. Einem Vergleich, bei dem eine Seite nur Häkchen hat, glaubt niemand, und zu Recht.
| Funktion | Langfuse | INFRO |
|---|---|---|
| Sitzt im Anfragepfad | neinerfasst Traces, die ihm gesendet werden | jaOpenAI-kompatibler Endpunkt |
| Routing, Wiederholungen und Failover | neinein BYOK-Gateway steht auf der Roadmap | jaüber Ihre eigenen Anbieterkonten |
| Budgets, die eine Anfrage ablehnen | neinAusgabenwarnungen benachrichtigen | jaOrganisation, Projekt, Mitglied, Schlüssel |
| Modell- und Anbieter-Freigabelisten | nein | ja |
| Geschätzte Kosten pro Anfrage | jaaus Modelldefinitionen abgeleitet oder übernommen | jazu Ihren ausgehandelten Preisen ab Team |
| Abgleich mit der Rechnung des Anbieters | nein | teilweiseOpenAI und Anthropic, Business-Tarif; Abweichung benannt |
| Verschachtelte Agent-Traces | jaSpans über Tools, Retrieval und Modelle | teilweiseein Datensatz pro Anfrage; OpenTelemetry-Export |
| Prompt-Management | jaVersionen, Labels, Playground | neinnicht gebaut |
| Evaluationen und Datensätze | jaLLM-as-a-Judge, Annotation, Experimente | teilweiseEval-Monitore auf ausgelieferte Chat-Antworten |
| Selbsthosting | jaMIT-lizenziert außerhalb von ee/ | teilweiseEnterprise-Vereinbarung |
| Kostenloser Einstieg | jaHobby-Stufe oder Selbsthosting | neinkostenpflichtige Tarife, 14-tägige Testphase |
Unsere Lesart der öffentlichen Dokumentation jedes Produkts, Stand Oktober 2026. Wir nennen keine Preise von Wettbewerbern – sie ändern sich, und eine falsche Zahl über das Geschäft anderer ist schlimmer als keine. Halten Sie eine Zeile für falsch? Sagen Sie es uns, und wir korrigieren sie.
Rechnen Sie aus, was der Unterschied wert ist
Schätzen Sie, was Ihr aktueller Modellmix zu den Listenpreisen Ihrer Anbieter kostet und welchen Tarif er braucht, oder lassen Sie uns Ihre echte Nutzung lesen und Ihnen sagen, wo wir helfen würden und wo nicht.