开源 LLM 可观测性和评估
INFRO vs Langfuse
Langfuse 是一个用于追踪、评估和改进 LLM 应用的开源平台：贯穿模型调用、工具和检索的嵌套追踪，带版本和标签的提示词管理，LLM-as-a-judge 和人工评估，数据集和实验，以及质量、成本和延迟的仪表盘。除企业目录之外，它采用 MIT 许可，可以在 Docker、Kubernetes 或 Terraform 上自托管，自 2026 年 1 月起成为 ClickHouse 的一部分，路线图保持不变。它记录你的应用做了什么；它不在请求路径上，因此不会路由、故障转移或拒绝请求。
何时 Langfuse 是更好的选择
- 可观测性和评估就是全部工作。路由和提供商接入已经解决，没有人要求会拒绝请求的预算，请求路径上再加一个网关会是你不需要的范围。
- 你需要提示词管理。Langfuse 对提示词做版本管理，按标签部署，并按成本、延迟和评分比较各版本。INFRO 没有提示词管理，也没有时间表。
- 你追踪的是智能体，而不仅仅是模型调用。Langfuse 记录横跨工具调用、检索步骤和模型调用的 span 树。INFRO 为每个网关请求记录一条记录，而 span 树需要你在自己的收集器中拼装。
- 评估是你会长期使用的产品界面：数据集、实验、标注队列和自定义评分。INFRO 的评估监控会按评分标准对一定比例已提供的聊天回答打分，范围要窄得多。
- 你想自托管开源软件，或从零成本起步。Langfuse 有免费的 Hobby 层级，自己运行也不要钱。INFRO 的套餐是付费的，并提供 14 天试用，而且只有在企业协议下才会运行在你自己的基础设施中。
- 你今天就需要把追踪记录保存在特定区域。Langfuse Cloud 提供美国、欧盟和日本区域；INFRO 的区域化处理在路线图上。
这一节不是客套。如果其中某一条说的正是你，请选择 Langfuse——一个听了我们的建议却用错了这一层的客户，对我们来说比从未成为客户更糟。
两者真正的分歧所在。
- 在请求旁边，还是在请求之中
- Langfuse 接收你的应用发送给它的内容——来自它的 SDK、OpenTelemetry，或来自 LiteLLM 这样的网关——并在调用之后记录。INFRO 则是你的应用调用的端点：它选择提供商连接，在你自己的账号之间重试和故障转移，并在处理请求的同时记录它。前者告诉你发生了什么。后者还决定会发生什么，而这是预算、允许列表或故障转移规则唯一能够起作用的地方。
- 告警不是限额
- Langfuse 可以在支出越过阈值时通知你。INFRO 在调用提供商之前，对照组织、项目、成员和密钥的预算检查该请求的预估成本，如果会超出，就以指明预算的错误拒绝它。如果你要管理的风险是意外账单，那么这个差别就是全部问题所在。
- 成本数字从何而来
- Langfuse 在摄入时根据你可以编辑的模型定义计算成本，或原样存储你发送给它的成本。INFRO 按厂商的公开价估算每个请求，从 Team 套餐起则按你合同实际采用的费率估算，没有费率时标记为未定价而不是猜测，并在 Business 套餐中将当月估算与 OpenAI 和 Anthropic 自己的成本 API 核对并说明差异。
- 它们可以一起运行
- 很多团队既想要 Langfuse 的评估和提示词工具，又想在请求路径上有一个控制平面。INFRO 会把请求路径上的 OpenTelemetry span 推送到你指定的收集器（Team 套餐起），而 Langfuse 支持 OpenTelemetry。我们尚未发布这一组合经过测试的方案，因此请把它当作起点，而不是有文档记载的集成。
并排对比。
我们这一栏也有横线。一方全是勾的对比没人会信，而且理应如此。
| 能力 | Langfuse | INFRO |
|---|---|---|
| 位于请求路径上 | 否记录发送给它的追踪 | 是OpenAI 兼容端点 |
| 路由、重试和故障转移 | 否路线图上有 BYOK 网关 | 是跨你自己的提供商账号 |
| 会拒绝请求的预算 | 否支出告警仅通知 | 是组织、项目、成员、密钥 |
| 模型和提供商允许列表 | 否 | 是 |
| 每个请求的预估成本 | 是根据模型定义推断，或直接摄入 | 是按你的协商价，Team 套餐起 |
| 与提供商自己的账单对账 | 否 | 部分OpenAI 和 Anthropic，Business 套餐；会说明差异 |
| 嵌套的智能体追踪 | 是横跨工具、检索和模型的 span | 部分每个请求一条记录；OpenTelemetry 导出 |
| 提示词管理 | 是版本、标签、Playground | 否未构建 |
| 评估和数据集 | 是LLM-as-a-judge、标注、实验 | 部分针对已提供聊天回答的评估监控 |
| 自托管 | 是ee/ 之外采用 MIT 许可 | 部分企业协议 |
| 免费入门 | 是Hobby 层级，或自托管 | 否付费套餐，14 天试用 |
这是我们对各产品公开文档的解读，截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变，对别人的业务给出一个错误的数字，不如不给。认为某一行有误？请告诉我们，我们会更正。