Observabilidade e avaliação de LLM open source
INFRO vs Langfuse
O Langfuse é uma plataforma open source para rastrear, avaliar e melhorar aplicações de LLM: traces aninhados entre chamadas de modelo, ferramentas e recuperação, gerenciamento de prompts com versões e rótulos, LLM-as-a-judge e avaliação humana, datasets e experimentos, e dashboards de qualidade, custo e latência. É licenciado sob MIT fora da sua pasta enterprise, pode ser auto-hospedado em Docker, Kubernetes ou Terraform e faz parte da ClickHouse desde janeiro de 2026, com o roadmap inalterado. Ele registra o que a sua aplicação fez; não fica no caminho da requisição, então não roteia, não faz failover nem recusa uma requisição.
- Observabilidade e avaliação são o trabalho todo. Roteamento e acesso a provedores estão resolvidos, ninguém pede um orçamento que recuse requisições e um gateway no caminho da requisição seria um escopo de que você não precisa.
- Você precisa de gerenciamento de prompts. O Langfuse versiona prompts, implanta-os por rótulo e compara versões em custo, latência e pontuações. O INFRO não tem gerenciamento de prompts, nem data para isso.
- Você rastreia agentes, não só chamadas de modelo. O Langfuse registra uma árvore de spans entre chamadas de ferramentas, etapas de recuperação e chamadas de modelo. O INFRO registra um registro por requisição de gateway, e uma árvore de spans você monta no seu próprio collector.
- A avaliação é uma superfície de produto em que você vai viver: datasets, experimentos, filas de anotação e métricas personalizadas. Os monitores de avaliação do INFRO pontuam uma parte das respostas de chat servidas com base em uma rubrica, o que é algo bem mais restrito.
- Você quer auto-hospedar software open source ou começar sem custo. O Langfuse tem um nível Hobby gratuito e é gratuito para rodar por conta própria. Os planos do INFRO são pagos, com teste de 14 dias, e ele só roda na sua própria infraestrutura mediante um contrato enterprise.
- Você precisa dos seus traces mantidos em uma região específica hoje. O Langfuse Cloud oferece regiões nos EUA, na UE e no Japão; o processamento regional do INFRO está no roadmap.
Esta seção não é cortesia. Se uma destas situações descreve você, escolha o Langfuse — um cliente que adota a camada errada por conselho nosso é pior para nós do que um que nunca tivemos.
Onde os dois realmente divergem.
- Ao lado da requisição ou dentro dela
- O Langfuse recebe o que a sua aplicação lhe envia — dos seus SDKs, do OpenTelemetry ou de um gateway como o LiteLLM — e registra depois da chamada. O INFRO é o endpoint que a sua aplicação chama: escolhe a conexão de provedor, tenta de novo e faz failover entre as suas próprias contas e registra a requisição enquanto a atende. O primeiro diz o que aconteceu. O segundo também decide o que acontece, que é o único lugar em que um orçamento, uma lista de permissões ou uma regra de failover pode agir.
- Um alerta não é um limite
- O Langfuse pode avisar quando o gasto cruza um limiar. O INFRO verifica o custo estimado da requisição contra os orçamentos da organização, do projeto, do membro e da chave antes de o provedor ser chamado e a recusa com um erro que nomeia o orçamento quando ele seria ultrapassado. Se uma fatura inesperada é o risco que você está gerenciando, essa diferença é a questão toda.
- De onde vem o número de custo
- O Langfuse calcula o custo na ingestão a partir de definições de modelo que você pode editar, ou armazena literalmente o custo que você envia. O INFRO estima cada requisição pela tarifa de tabela do fornecedor ou, a partir do plano Team, pelas tarifas que os seus contratos de fato preveem, diz sem preço em vez de chutar quando não tem tarifa e, no plano Business, confere a estimativa do mês com as APIs de custo da própria OpenAI e da Anthropic e informa a variação.
- Eles podem rodar juntos
- Muitas equipes vão querer as ferramentas de avaliação e de prompts do Langfuse e um plano de controle no caminho da requisição. O INFRO envia spans OpenTelemetry do caminho da requisição para um collector que você indica (a partir do plano Team), e o Langfuse aceita OpenTelemetry. Ainda não publicamos uma receita testada para essa combinação, então trate-a como ponto de partida, não como uma integração documentada.
Lado a lado.
A nossa coluna também tem traços. Uma comparação em que um dos lados só tem marcações de sim é uma em que ninguém acredita, e com razão.
| Recurso | Langfuse | INFRO |
|---|---|---|
| Fica no caminho da requisição | nãoregistra traces enviados a ele | simEndpoint compatível com OpenAI |
| Roteamento, novas tentativas e failover | nãoum gateway BYOK está no roadmap deles | simentre as suas próprias contas de provedor |
| Orçamentos que recusam uma requisição | nãoalertas de gasto notificam | simorganização, projeto, membro, chave |
| Listas de permissões de modelos e provedores | não | sim |
| Custo estimado por requisição | siminferido de definições de modelo, ou ingerido | simnas suas tarifas negociadas a partir do Team |
| Reconciliação com a fatura do próprio provedor | não | parcialOpenAI e Anthropic, plano Business; variação mostrada |
| Traces aninhados de agentes | simspans entre ferramentas, recuperação e modelos | parcialum registro por requisição; exportação OpenTelemetry |
| Gerenciamento de prompts | simversões, rótulos, playground | nãonão construído |
| Avaliações e datasets | simLLM-as-a-judge, anotação, experimentos | parcialmonitores de avaliação sobre respostas de chat servidas |
| Auto-hospedagem | simLicença MIT fora de ee/ | parcialcontrato enterprise |
| Entrada gratuita | simNível Hobby ou auto-hospedado | nãoplanos pagos, teste de 14 dias |
Nossa leitura da documentação pública de cada produto em outubro de 2026. Não citamos preços de concorrentes — os deles mudam, e um número errado sobre o negócio de outra pessoa é pior que nenhum. Acha que uma linha está errada? Avise e corrigiremos.
Calcule quanto vale a diferença
Estime quanto o seu mix atual de modelos custa pelas tarifas de tabela dos seus provedores e o plano de que ele precisa, ou peça que analisemos o seu uso real e digamos onde ajudaríamos e onde não.