Observabilidad y evaluación de LLM de código abierto
INFRO vs Langfuse
Langfuse es una plataforma de código abierto para trazar, evaluar y mejorar aplicaciones con LLM: trazas anidadas entre llamadas a modelos, herramientas y recuperación, gestión de prompts con versiones y etiquetas, LLM como juez y evaluación humana, conjuntos de datos y experimentos, y paneles de calidad, costo y latencia. Tiene licencia MIT fuera de su carpeta enterprise, se puede autoalojar en Docker, Kubernetes o Terraform, y forma parte de ClickHouse desde enero de 2026 con su hoja de ruta sin cambios. Registra lo que hizo tu aplicación; no está en la ruta de la solicitud, así que no enruta, no hace failover ni rechaza una solicitud.
- La observabilidad y la evaluación son todo el trabajo. El enrutamiento y el acceso a proveedores están resueltos, nadie pide un presupuesto que rechace una solicitud, y un gateway en la ruta de la solicitud sería un alcance que no necesitas.
- Necesitas gestión de prompts. Langfuse versiona los prompts, los despliega por etiqueta y compara versiones en costo, latencia y puntuaciones. INFRO no tiene gestión de prompts ni fecha para ella.
- Trazas agentes, no solo llamadas a modelos. Langfuse registra un árbol de spans entre llamadas a herramientas, pasos de recuperación y llamadas a modelos. INFRO registra un registro por solicitud al gateway, y un árbol de spans es algo que armas en tu propio colector.
- La evaluación es una superficie de producto en la que vivirás: conjuntos de datos, experimentos, colas de anotación y puntuaciones personalizadas. Los monitores de evaluación de INFRO puntúan una parte de las respuestas de chat servidas contra una rúbrica, que es algo mucho más acotado.
- Quieres autoalojar software de código abierto, o empezar sin costo. Langfuse tiene un nivel Hobby gratuito y es gratis ejecutarlo tú mismo. Los planes de INFRO son de pago con una prueba de 14 días, y se ejecuta en tu propia infraestructura solo bajo un acuerdo enterprise.
- Necesitas que tus trazas estén en una región específica hoy. Langfuse Cloud ofrece regiones de EE. UU., la UE y Japón; el procesamiento regional de INFRO está en la hoja de ruta.
Esta sección no es una cortesía. Si alguno de estos casos te describe, elige Langfuse: un cliente que adopta la capa equivocada por nuestro consejo es peor para nosotros que uno que nunca tuvimos.
Dónde se separan realmente.
- Junto a la solicitud, o dentro de ella
- Langfuse recibe lo que tu aplicación le envía (desde sus SDK, desde OpenTelemetry o desde un gateway como LiteLLM) y lo registra después de la llamada. INFRO es el endpoint al que llama tu aplicación: elige la conexión con el proveedor, reintenta y hace failover entre tus propias cuentas, y registra la solicitud mientras la sirve. El primero te dice qué pasó. El segundo también decide qué pasa, que es el único lugar donde pueden actuar un presupuesto, una lista de permitidos o una regla de failover.
- Una alerta no es un límite
- Langfuse puede avisarte cuando el gasto cruza un umbral. INFRO comprueba el costo estimado de la solicitud contra los presupuestos de la organización, el proyecto, el miembro y la clave antes de llamar al proveedor, y la rechaza con un error que nombra el presupuesto cuando se pasaría. Si el riesgo que gestionas es una factura inesperada, esa diferencia es toda la cuestión.
- De dónde sale la cifra de costo
- Langfuse calcula el costo al ingerir los datos a partir de definiciones de modelo que puedes editar, o almacena tal cual el costo que le envías. INFRO estima cada solicitud con la tarifa de lista del fabricante o, desde el plan Team, con las tarifas que realmente recogen tus contratos, indica sin precio en lugar de adivinar cuando no tiene tarifa y, en el plan Business, contrasta la estimación del mes con las APIs de costos de OpenAI y de Anthropic y declara la variación.
- Pueden funcionar juntos
- Muchos equipos querrán las herramientas de evaluación y de prompts de Langfuse y también un plano de control en la ruta de la solicitud. INFRO envía spans de OpenTelemetry desde la ruta de la solicitud a un colector que indiques (desde el plan Team), y Langfuse acepta OpenTelemetry. Todavía no hemos publicado una receta probada para esa combinación, así que tómala como punto de partida y no como una integración documentada.
Lado a lado.
Nuestra columna también tiene guiones. Una comparación en la que un lado solo tiene marcas de verificación no se la cree nadie, y con razón.
| Capacidad | Langfuse | INFRO |
|---|---|---|
| Está en la ruta de la solicitud | noregistra las trazas que se le envían | síEndpoint compatible con OpenAI |
| Enrutamiento, reintentos y failover | noun gateway BYOK está en su hoja de ruta | síentre tus propias cuentas de proveedor |
| Presupuestos que rechazan una solicitud | nolas alertas de gasto avisan | síorg, proyecto, miembro, clave |
| Listas de modelos y proveedores permitidos | no | sí |
| Costo estimado por solicitud | síinferido de las definiciones de modelo, o ingerido | sícon tus tarifas negociadas desde Team |
| Conciliación con la factura del propio proveedor | no | parcialOpenAI y Anthropic, plan Business; diferencia indicada |
| Trazas anidadas de agentes | síspans entre herramientas, recuperación y modelos | parcialun registro por solicitud; exportación OpenTelemetry |
| Gestión de prompts | síversiones, etiquetas, playground | nono construido |
| Evaluaciones y conjuntos de datos | síLLM como juez, anotación, experimentos | parcialmonitores de evaluación sobre respuestas de chat servidas |
| Autoalojamiento | síLicencia MIT fuera de ee/ | parcialacuerdo enterprise |
| Entrada gratuita | síNivel Hobby, o autoalojado | noplanes de pago, prueba de 14 días |
Nuestra lectura de la documentación pública de cada producto a fecha de octubre de 2026. No citamos precios de la competencia: los suyos cambian y una cifra equivocada sobre el negocio de otro es peor que ninguna. ¿Crees que una fila es incorrecta? Dínoslo y la corregiremos.
Calcula cuánto vale la diferencia
Estima cuánto cuesta tu combinación actual de modelos con las tarifas de lista de tus proveedores y el plan que necesita, o pídenos que leamos tu uso real y te digamos dónde ayudaríamos y dónde no.