Observabilité et évaluation des LLM open source
INFRO vs Langfuse
Langfuse est une plateforme open source pour tracer, évaluer et améliorer les applications LLM : traces imbriquées sur les appels de modèles, les outils et la récupération, gestion des prompts avec versions et étiquettes, LLM-as-a-judge et évaluation humaine, jeux de données et expériences, et tableaux de bord de qualité, de coût et de latence. Elle est sous licence MIT hors de son dossier entreprise, auto-hébergeable sur Docker, Kubernetes ou Terraform, et fait partie de ClickHouse depuis janvier 2026, sa feuille de route étant inchangée. Elle enregistre ce qu'a fait votre application ; elle ne se trouve pas dans le chemin de la requête, donc elle ne route pas, ne bascule pas et ne refuse aucune requête.
- L'observabilité et l'évaluation sont tout le travail. Le routage et l'accès aux fournisseurs sont réglés, personne ne demande un budget qui refuse une requête, et une passerelle dans le chemin de la requête serait un périmètre dont vous n'avez pas besoin.
- Il vous faut de la gestion des prompts. Langfuse versionne les prompts, les déploie par étiquette et compare les versions sur le coût, la latence et les scores. INFRO n'a pas de gestion des prompts, ni de date pour cela.
- Vous tracez des agents, pas seulement des appels de modèles. Langfuse enregistre un arbre de spans couvrant les appels d'outils, les étapes de récupération et les appels de modèles. INFRO enregistre un enregistrement par requête de passerelle, et un arbre de spans est quelque chose que vous assemblez dans votre propre collecteur.
- L'évaluation est une surface de produit dans laquelle vous allez vivre : jeux de données, expériences, files d'annotation et scores personnalisés. Les moniteurs d'évaluation d'INFRO notent une part des réponses de chat servies selon une grille, ce qui est bien plus restreint.
- Vous voulez auto-héberger un logiciel open source, ou démarrer sans frais. Langfuse a une offre Hobby gratuite et son exploitation en propre est gratuite. Les offres d'INFRO sont payantes avec un essai de 14 jours, et il ne tourne dans votre propre infrastructure que sous un accord Enterprise.
- Il vous faut vos traces conservées dès aujourd'hui dans une région précise. Langfuse Cloud propose des régions États-Unis, UE et Japon ; le traitement régional d'INFRO figure sur la feuille de route.
Cette section n'est pas une politesse. Si l'un de ces cas vous décrit, choisissez Langfuse — un client qui adopte la mauvaise couche sur notre conseil est pire pour nous qu'un client que nous n'avons jamais eu.
Là où les deux divergent vraiment.
- À côté de la requête, ou dedans
- Langfuse reçoit ce que votre application lui envoie — depuis ses SDK, depuis OpenTelemetry ou depuis une passerelle telle que LiteLLM — et l'enregistre après l'appel. INFRO est l'endpoint que votre application appelle : il choisit la connexion au fournisseur, réessaie et bascule entre vos propres comptes, et enregistre la requête pendant qu'il la sert. Le premier vous dit ce qui s'est passé. Le second décide aussi de ce qui se passe, ce qui est le seul endroit où un budget, une liste d'autorisation ou une règle de basculement peut agir.
- Une alerte n'est pas une limite
- Langfuse peut vous prévenir quand les dépenses franchissent un seuil. INFRO vérifie le coût estimé de la requête par rapport aux budgets de l'organisation, du projet, du membre et de la clé avant l'appel au fournisseur, et la refuse avec une erreur qui nomme le budget quand il serait dépassé. Si une facture inattendue est le risque que vous gérez, cette différence est toute la question.
- D'où vient le chiffre du coût
- Langfuse calcule le coût à l'ingestion à partir de définitions de modèles que vous pouvez modifier, ou stocke tel quel le coût que vous lui envoyez. INFRO estime chaque requête au tarif public de l'éditeur ou, à partir de l'offre Team, aux tarifs que portent réellement vos contrats, indique « sans tarif » plutôt que de deviner quand il n'a pas de tarif, et, avec l'offre Business, compare l'estimation du mois aux API de coûts d'OpenAI et d'Anthropic et indique l'écart.
- Ils peuvent fonctionner ensemble
- De nombreuses équipes voudront les outils d'évaluation et de gestion des prompts de Langfuse et un plan de contrôle dans le chemin de la requête. INFRO envoie des spans OpenTelemetry depuis le chemin de la requête vers un collecteur que vous nommez (à partir de l'offre Team), et Langfuse accepte OpenTelemetry. Nous n'avons pas encore publié de recette testée pour cette association : considérez-la comme un point de départ plutôt que comme une intégration documentée.
Côte à côte.
Notre colonne a aussi des tirets. Un comparatif où un côté n'a que des coches, personne n'y croit, et à raison.
| Fonctionnalité | Langfuse | INFRO |
|---|---|---|
| Se place dans le chemin de la requête | nonenregistre les traces qui lui sont envoyées | ouiEndpoint compatible OpenAI |
| Routage, nouvelles tentatives et basculement | nonune passerelle BYOK figure sur sa feuille de route | ouisur vos propres comptes fournisseurs |
| Des budgets qui refusent une requête | nonles alertes de dépenses notifient | ouiorganisation, projet, membre, clé |
| Listes d'autorisation de modèles et de fournisseurs | non | oui |
| Coût estimé par requête | ouidéduit des définitions de modèles, ou ingéré | ouià vos tarifs négociés à partir de Team |
| Rapprochement avec la facture du fournisseur | non | partielOpenAI et Anthropic, offre Business ; écart indiqué |
| Traces d'agents imbriquées | ouispans couvrant outils, récupération et modèles | partielun enregistrement par requête ; export OpenTelemetry |
| Gestion des prompts | ouiversions, étiquettes, playground | nonnon développé |
| Évaluations et jeux de données | ouiLLM-as-a-judge, annotation, expériences | partielmoniteurs d'évaluation sur les réponses de chat servies |
| Auto-hébergement | ouiLicence MIT hors ee/ | partielcontrat Enterprise |
| Entrée gratuite | ouiOffre Hobby, ou auto-hébergement | nonoffres payantes, essai de 14 jours |
Notre lecture de la documentation publique de chaque produit au octobre 2026. Nous ne citons pas les prix des concurrents — ils changent, et un chiffre faux sur l'activité de quelqu'un d'autre est pire que pas de chiffre. Une ligne vous semble fausse ? Dites-le-nous et nous la corrigerons.
Évaluez ce que vaut la différence
Estimez ce que coûte votre combinaison actuelle de modèles aux tarifs publics de vos fournisseurs et l'offre nécessaire, ou laissez-nous lire votre utilisation réelle pour vous dire où nous aiderions et où nous n'aiderions pas.