Open-source LLM-observability en -evaluatie
INFRO vs Langfuse
Langfuse is een open-sourceplatform voor het traceren, evalueren en verbeteren van LLM-applicaties: geneste traces over modelaanroepen, tools en retrieval, promptbeheer met versies en labels, LLM-as-a-judge en menselijke evaluatie, datasets en experimenten, en dashboards voor kwaliteit, kosten en latentie. Het heeft een MIT-licentie buiten de enterprise-map, is zelf te hosten op Docker, Kubernetes of Terraform, en maakt sinds januari 2026 deel uit van ClickHouse met ongewijzigde roadmap. Het legt vast wat je applicatie deed; het zit niet in het verzoekpad en routeert, failovert of weigert dus geen verzoek.
- Observability en evaluatie zijn de hele taak. Routering en providertoegang zijn opgelost, niemand vraagt om een budget dat een verzoek weigert, en een gateway in het verzoekpad zou scope zijn die je niet nodig hebt.
- Je hebt promptbeheer nodig. Langfuse versioneert prompts, deployt ze op label en vergelijkt versies op kosten, latentie en scores. INFRO heeft geen promptbeheer, en geen datum ervoor.
- Je traceert agents, niet alleen modelaanroepen. Langfuse legt een boom van spans vast over toolaanroepen, retrievalstappen en modelaanroepen. INFRO legt één registratie per gatewayverzoek vast, en een spanboom stel je zelf samen in je eigen collector.
- Evaluatie is een productvlak waarin je gaat wonen: datasets, experimenten, annotatiewachtrijen en eigen scores. De evalmonitors van INFRO scoren een deel van de bediende chatantwoorden tegen een rubric, wat veel beperkter is.
- Je wilt open-sourcesoftware zelf hosten, of zonder kosten beginnen. Langfuse heeft een gratis Hobby-laag en is gratis zelf te draaien. De plannen van INFRO zijn betaald met een proefperiode van 14 dagen, en het draait alleen onder een enterprise-overeenkomst in je eigen infrastructuur.
- Je hebt je traces vandaag in een bepaalde regio nodig. Langfuse Cloud biedt regio's in de VS, de EU en Japan; de regionale verwerking van INFRO staat op de roadmap.
Deze sectie is geen beleefdheid. Als een van deze situaties op jou van toepassing is, kies dan Langfuse — een klant die op ons advies de verkeerde laag kiest, is slechter voor ons dan een klant die we nooit hadden.
Waar de twee echt uiteenlopen.
- Naast het verzoek, of erin
- Langfuse ontvangt wat je applicatie het stuurt — vanuit zijn SDK's, vanuit OpenTelemetry of vanuit een gateway zoals LiteLLM — en legt het na de aanroep vast. INFRO is het endpoint dat je applicatie aanroept: het kiest de providerverbinding, probeert opnieuw en failovert over je eigen accounts, en legt het verzoek vast terwijl het dat bedient. De eerste vertelt je wat er gebeurde. De tweede bepaalt ook wat er gebeurt, en dat is de enige plek waar een budget, een allowlist of een failoverregel iets kan doen.
- Een melding is geen limiet
- Langfuse kan je waarschuwen wanneer de uitgaven een drempel passeren. INFRO controleert de geschatte kosten van het verzoek tegen de budgetten van organisatie, project, lid en sleutel voordat de provider wordt aangeroepen, en weigert het met een foutmelding die het budget noemt als het erboven zou uitkomen. Als een onverwachte rekening het risico is dat je beheert, is dat verschil de hele vraag.
- Waar het kostenbedrag vandaan komt
- Langfuse berekent kosten bij het opnemen op basis van modeldefinities die je kunt aanpassen, of slaat de kosten die je meestuurt letterlijk op. INFRO schat elk verzoek tegen het lijsttarief van de leverancier of, vanaf het Team-plan, tegen de tarieven die je contracten werkelijk hebben, zegt zonder prijs in plaats van te gokken als het geen tarief heeft, en controleert op het Business-plan de schatting van de maand tegen de eigen kosten-API's van OpenAI en Anthropic en noemt het verschil.
- Ze kunnen samen draaien
- Veel teams willen de evaluatie- en prompttooling van Langfuse én een control plane in het verzoekpad. INFRO pusht OpenTelemetry-spans vanuit het verzoekpad naar een collector die je noemt (vanaf het Team-plan), en Langfuse accepteert OpenTelemetry. We hebben nog geen geteste handleiding voor die combinatie gepubliceerd, dus zie het als uitgangspunt en niet als gedocumenteerde integratie.
Naast elkaar.
Ook onze kolom heeft streepjes. Een vergelijking waarin één kant alleen vinkjes heeft, gelooft niemand, en terecht.
| Functionaliteit | Langfuse | INFRO |
|---|---|---|
| Zit in het verzoekpad | neelegt traces vast die ernaartoe worden gestuurd | jaOpenAI-compatibel endpoint |
| Routering, retries en failover | neeeen BYOK-gateway staat op de roadmap | jaover je eigen provideraccounts |
| Budgetten die een verzoek weigeren | neeuitgavenmeldingen waarschuwen | jaorg, project, lid, sleutel |
| Model- en providerallowlists | nee | ja |
| Geschatte kosten per verzoek | jaafgeleid uit modeldefinities, of opgenomen | jategen je onderhandelde tarieven vanaf Team |
| Reconciliatie met de eigen rekening van de provider | nee | gedeeltelijkOpenAI en Anthropic, Business-plan; verschil vermeld |
| Geneste agent-traces | jaspans over tools, retrieval en modellen | gedeeltelijkéén registratie per verzoek; OpenTelemetry-export |
| Promptbeheer | javersies, labels, playground | neeniet gebouwd |
| Evaluaties en datasets | jaLLM-as-a-judge, annotatie, experimenten | gedeeltelijkevalmonitors op bediende chatantwoorden |
| Zelf hosten | jaMIT-licentie buiten ee/ | gedeeltelijkenterprise-overeenkomst |
| Gratis instap | jaHobby-laag, of zelf hosten | neebetaalde plannen, proefperiode van 14 dagen |
Onze lezing van de openbare documentatie van elk product per oktober 2026. We citeren geen prijzen van concurrenten — die veranderen en een verkeerd getal over andermans bedrijf is erger dan geen. Denk je dat een rij niet klopt? Laat het ons weten, dan passen we het aan.
Bereken wat het verschil waard is
Schat wat je huidige modelmix kost tegen de lijstprijzen van je providers en welk plan je nodig hebt, of laat ons je echte gebruik lezen en vertellen waar we wel en niet zouden helpen.