Osservabilità e valutazione LLM open source
INFRO vs Langfuse
Langfuse è una piattaforma open source per tracciare, valutare e migliorare le applicazioni LLM: trace annidate tra chiamate ai modelli, strumenti e recupero, gestione dei prompt con versioni ed etichette, LLM-as-a-judge e valutazione umana, dataset ed esperimenti e dashboard su qualità, costi e latenza. Ha licenza MIT fuori dalla sua cartella enterprise, può essere installato in self-hosting su Docker, Kubernetes o Terraform e fa parte di ClickHouse da gennaio 2026 con la roadmap invariata. Registra ciò che ha fatto la tua applicazione; non sta nel percorso della richiesta, quindi non instrada, non fa failover e non rifiuta una richiesta.
- Osservabilità e valutazione sono l'intero lavoro. Routing e accesso ai provider sono risolti, nessuno chiede un budget che rifiuti una richiesta e un gateway nel percorso della richiesta sarebbe un ambito che non ti serve.
- Ti serve la gestione dei prompt. Langfuse versiona i prompt, li distribuisce per etichetta e confronta le versioni per costo, latenza e punteggi. INFRO non ha la gestione dei prompt e non ha una data.
- Tracci gli agenti, non solo le chiamate ai modelli. Langfuse registra un albero di span tra chiamate a strumenti, passaggi di recupero e chiamate ai modelli. INFRO registra un record per richiesta al gateway e un albero di span lo assembli nel tuo collector.
- La valutazione è una superficie di prodotto in cui vivrai: dataset, esperimenti, code di annotazione e punteggi personalizzati. I monitor di valutazione di INFRO assegnano un punteggio a una quota di risposte di chat servite rispetto a una rubrica, che è una cosa molto più ristretta.
- Vuoi ospitare software open source, o partire a costo zero. Langfuse ha un livello Hobby gratuito ed è gratuito da gestire da solo. I piani di INFRO sono a pagamento con una prova di 14 giorni e funziona nella tua infrastruttura solo con un accordo enterprise.
- Ti servono oggi le tue trace conservate in una regione specifica. Langfuse Cloud offre regioni US, UE e Giappone; l'elaborazione regionale di INFRO è nella roadmap.
Questa sezione non è una cortesia. Se una di queste situazioni ti descrive, scegli Langfuse: un cliente che adotta il livello sbagliato su nostro consiglio è peggio per noi di uno che non abbiamo mai avuto.
Dove i due divergono davvero.
- Accanto alla richiesta, o dentro di essa
- Langfuse riceve ciò che la tua applicazione gli invia (dai suoi SDK, da OpenTelemetry o da un gateway come LiteLLM) e lo registra dopo la chiamata. INFRO è l'endpoint che la tua applicazione chiama: sceglie la connessione al provider, ritenta e fa failover tra i tuoi account e registra la richiesta mentre la serve. Il primo ti dice cosa è successo. Il secondo decide anche cosa succede, che è l'unico punto in cui un budget, una allowlist o una regola di failover possono agire.
- Un avviso non è un limite
- Langfuse può avvisarti quando la spesa supera una soglia. INFRO verifica il costo stimato della richiesta rispetto ai budget dell'organizzazione, del progetto, del membro e della chiave prima di chiamare il provider, e la rifiuta con un errore che nomina il budget quando lo supererebbe. Se il rischio che gestisci è una fattura inattesa, quella differenza è l'intera questione.
- Da dove viene la cifra del costo
- Langfuse calcola il costo all'acquisizione a partire da definizioni dei modelli che puoi modificare, oppure archivia così com'è il costo che gli invii. INFRO stima ogni richiesta alla tariffa di listino del vendor oppure, dal piano Team, alle tariffe che i tuoi contratti prevedono davvero, dice senza prezzo invece di tirare a indovinare quando non ha una tariffa e, nel piano Business, verifica la stima del mese con le API dei costi di OpenAI e Anthropic e indica lo scostamento.
- Possono funzionare insieme
- Molti team vorranno gli strumenti di valutazione e di gestione dei prompt di Langfuse e un piano di controllo nel percorso della richiesta. INFRO invia span OpenTelemetry dal percorso della richiesta a un collector che indichi tu (dal piano Team) e Langfuse accetta OpenTelemetry. Non abbiamo ancora pubblicato una ricetta testata per questo abbinamento, quindi consideralo un punto di partenza e non un'integrazione documentata.
Fianco a fianco.
Anche la nostra colonna ha dei trattini. Un confronto in cui una parte ha solo spunte non lo crede nessuno, e a ragione.
| Funzionalità | Langfuse | INFRO |
|---|---|---|
| Sta nel percorso della richiesta | noregistra le trace che gli vengono inviate | sìEndpoint compatibile con OpenAI |
| Routing, retry e failover | noun gateway BYOK è nella loro roadmap | sìsui tuoi account provider |
| Budget che rifiutano una richiesta | nogli avvisi di spesa notificano | sìorganizzazione, progetto, membro, chiave |
| Allowlist di modelli e provider | no | sì |
| Costo stimato per richiesta | sìdedotto dalle definizioni dei modelli, oppure acquisito | sìalle tue tariffe negoziate dal piano Team |
| Riconciliazione con la fattura del provider | no | parzialeOpenAI e Anthropic, piano Business; scarto indicato |
| Trace annidate degli agenti | sìspan tra strumenti, recupero e modelli | parzialeun record per richiesta; esportazione OpenTelemetry |
| Gestione dei prompt | sìversioni, etichette, playground | nonon realizzato |
| Valutazioni e dataset | sìLLM-as-a-judge, annotazione, esperimenti | parzialemonitor di valutazione sulle risposte di chat servite |
| Self-hosting | sìLicenza MIT fuori da ee/ | parzialecontratto enterprise |
| Ingresso gratuito | sìLivello Hobby, oppure self-hosting | nopiani a pagamento, prova di 14 giorni |
La nostra lettura della documentazione pubblica di ciascun prodotto al ottobre 2026. Non citiamo i prezzi dei concorrenti: cambiano e un numero sbagliato sull'attività di qualcun altro è peggio di nessun numero. Pensi che una riga sia sbagliata? Dicci e la correggeremo.
Calcola quanto vale la differenza
Stima quanto costa il tuo attuale mix di modelli ai prezzi di listino dei tuoi provider e il piano necessario, oppure lascia che leggiamo il tuo utilizzo reale e ti diciamo dove potremmo aiutarti e dove no.