Vai al contenuto

Vedi ogni esecuzione, ascolta ogni lettore, versiona ogni prompt.

Il gateway da cui passano già le tue richieste le registra come esecuzioni con il loro costo stimato del provider, raccoglie punteggi e feedback degli utenti finali su di esse e compila i prompt gestiti prima dei propri controlli. Un'unica integrazione, sui tuoi account dei provider.

Gli account INFRO sono self-service. Il catalogo, la documentazione e il contratto dell'API sono pubblici, il gateway è in produzione e tutto ciò che va oltre la v1 è indicato come "Più avanti". Piani e prova

Esecuzioni

Un turno di un agente, una risposta con recupero o una pipeline di documenti sono più chiamate ai modelli. Invia un id di trace con ciascuna e INFRO le elenca come un'unica esecuzione, con quanto l'esecuzione è costata presso il tuo provider, così la domanda diventa quale esecuzione e quale passaggio.

  • Una riga per esecuzione

    Le richieste che condividono un id di trace e un flusso di lavoro sono un'esecuzione: le sue richieste, errori, durata, modelli, costo stimato del provider, punteggi e versioni dei prompt.

  • Trova l'esecuzione che conta

    Filtra per flusso di lavoro, modello, utente finale o errori, e ordina per costo o durata su una finestra di massimo 31 giorni.

  • Poi ogni passaggio

    Apri un'esecuzione nella console, o chiama l'endpoint delle trace, per vederne le richieste in ordine con il costo di ogni passaggio.

Un header su ogni chiamata.

Una richiesta senza id di trace non appartiene a nessuna esecuzione. Le esecuzioni sono raggruppate per flusso di lavoro e id di trace insieme, perché gli id di trace sono tuoi e due flussi di lavoro possono riusarne uno.

Un'esecuzione copre le chiamate ai modelli passate per INFRO, e lo dice in ogni risposta. Il contratto completo è in Esecuzioni.

# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "X-INFRO-Trace-Id: run_42" \
  -H "Content-Type: application/json" \
  -d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
       "messages": [{"role": "user", "content": "Where is my order?"}]}'

# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
  -H "Authorization: Bearer $INFRO_API_KEY"

Punteggi e feedback

I punteggi dal tuo codice, dai monitor di valutazione, dal tuo team e dalle persone che leggono le tue risposte finiscono sulla stessa richiesta, esecuzione e versione del prompt. I punteggi non sono richieste al gateway e non contano nella quota di richieste del tuo piano.

  • Feedback da chi legge la risposta

    Ogni risposta riuscita porta un token firmato. La pagina che mostra la risposta lo invia con un pollice in su o in giù, senza chiave API nel browser.

  • Punteggi dal tuo codice

    Un numero, un sì o no, o un'etichetta, su una richiesta o su un'intera esecuzione, con un commento facoltativo.

  • Dai monitor di valutazione e dal tuo team

    I monitor di valutazione assegnano un punteggio a una quota delle risposte servite e i membri assegnano un punteggio a una richiesta dalla console. Ogni punteggio è sulla richiesta, sulla sua esecuzione e sulla sua versione del prompt.

Il token è l'unica autorizzazione.

L'endpoint del feedback non richiede chiave API e accetta qualsiasi origine. Un token indica una richiesta, può valutare quella richiesta e nient'altro, e scade dopo sette giorni.

Inoltro del token dal tuo server, limiti e conservazione sono in Punteggi e feedback.

// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");

// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ token: feedbackToken, value: true }),
});

Gestione dei prompt

Conserva i prompt come versioni numerate con etichette e indicane uno su una chat completion. La versione passa per la stessa allowlist, gli stessi guardrail e lo stesso budget di ogni richiesta, perché il gateway la compila prima di essi, e la versione viene registrata sulla richiesta.

  • Versioni che non cambiano mai

    Una versione contiene messaggi con variabili e può portare un modello e impostazioni predefiniti. Una modifica è una nuova versione.

  • Compilato prima dei controlli

    Il gateway compila la versione prima di routing, allowlist dei modelli, guardrail e controllo di spesa, così ognuno legge i messaggi finali.

  • Production spostata da una persona

    Etichette come staging si spostano dal codice. L'etichetta protetta production la sposta un proprietario o un amministratore nella console, e ogni spostamento è nel log di audit.

  • Il record di ogni versione

    Richieste, tasso di errore, latenza p50 e p95, costo stimato del provider per richiesta, punteggio medio e quota di feedback, per la finestra che scegli.

  • Ripristina spostando l'etichetta

    Punta production alla versione precedente. Le richieste la usano entro cinque secondi, senza deploy.

  • Un campo o un header

    Indica il prompt nel corpo della richiesta con le sue variabili, o in un header per un client che non può aggiungere un campo.

Indica il prompt; al resto pensa il gateway.

La risposta indica quale versione ha risposto. I prompt vengono risolti sulle chat completion e sulle richieste Messages e Responses degli agenti di coding. Un prompt che la tua applicazione recupera e invia direttamente a un provider non viene controllato dal gateway, e la risposta lo indica.

Etichette, variabili, etichette protette e l'API di gestione sono in Gestione dei prompt.

curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5",
    "prompt": {
      "id": "support-reply",
      "label": "production",
      "variables": { "customer_name": "Ada" }
    },
    "messages": [{ "role": "user", "content": "Where is my order?" }]
  }'

Valutatori

Scrivi una rubrica, scegli qualsiasi modello di chat che hai collegato e INFRO gli fa giudicare le risposte attraverso il gateway: un campione del traffico reale, o richieste passate quando vuoi. Ogni verdetto diventa un punteggio sulla richiesta che ha giudicato.

  • La tua rubrica, qualsiasi modello di chat

    Una rubrica con la domanda, la risposta e, negli esperimenti, l'output atteso. Il giudice restituisce un numero, un superato o non superato, oppure una delle tue categorie.

  • Sul traffico reale, entro un limite mensile

    Giudica una quota delle risposte servite, filtrate per progetto, modello, versione di prompt o flusso di lavoro. Il giudizio sul traffico reale si sospende per il mese in corso quando si raggiunge il limite di spesa del valutatore.

  • Oppure richieste passate, quando vuoi

    Giudica in background fino a 1,000 richieste registrate, con prima il numero di richieste e il costo stimato del provider e un tetto di spesa a cui si ferma.

Una chiamata del giudice è una richiesta come le altre.

Viene eseguito sul tuo account del provider e ti viene fatturato da quel provider. Una chiamata del giudice sul traffico reale viene eseguita come la chiave che ha fatto la richiesta giudicata, quindi si applicano l'accesso ai modelli, i guardrail e i budget di quella chiave, e parte dopo l'invio della risposta, senza mai rallentarla o modificarla. Ogni chiamata del giudice conta nella quota di richieste del tuo piano.

Segnaposto, tipi di output ed errori sono in Valutatori.

# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "slug": "helpfulness",
    "model": "openai/gpt-5.4",
    "rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
    "output": {"type": "numeric"},
    "sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
    "monthly_spend_limit": 25
  }'

Dataset ed esperimenti

Crea un dataset dalle richieste che hai già registrato, rieseguilo attraverso il gateway su modelli, versioni di prompt e impostazioni, e confronta il punteggio e il costo di ciascuno, previa stima e con un tetto.

  • Dal tuo traffico con un clic

    Aggiungi una richiesta registrata, o tutte le richieste mostrate dai filtri attuali (fino a 1,000), con la sua risposta come output atteso, se vuoi.

  • Oppure caricati

    JSONL o CSV fino a 5 MB, o elementi inviati dal codice. Un problema indica la riga o il record.

  • Conservato finché non lo elimini

    Elementi che hai scelto di conservare, non legati alla conservazione del log delle richieste, ed eliminati insieme al dataset, al suo progetto o alla tua organizzazione.

  • Fino a sei varianti

    Un modello o una route, una versione di prompt e impostazioni per variante. Ogni risposta è giudicata da un massimo di cinque valutatori e confrontata per punteggi, tasso di errore, latenza e costo stimato per elemento.

  • Prima la stima, poi un tetto

    Il numero di richieste, il costo stimato del provider e la parte della tua quota di richieste prima che parta qualsiasi cosa. È richiesto un tetto di spesa almeno pari alla stima, e l'esecuzione si ferma lì.

  • Attraverso gli stessi controlli

    Ogni chiamata è una richiesta al gateway sui tuoi provider: si applicano accesso ai modelli, guardrail, ambiente e limiti di spesa.

Nulla parte finché non imposti il tetto.

Un modello senza una tariffa nota è indicato come senza prezzo e l'esperimento non può partire, perché la sua spesa non potrebbe essere contenuta entro il tetto. I verdetti dei giudici di un esperimento restano nell'esperimento, così un test non sposta mai un punteggio di produzione.

Varianti, motivi di arresto e il confronto sono in Esperimenti; creazione e caricamento degli elementi in Dataset.

# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "dataset": "support-golden",
    "variants": [
      {"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
      {"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
      {"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
    ],
    "evaluators": ["helpfulness"],
    "dry_run": true
  }'

Regole di rollback

Una regola sorveglia un'etichetta di un prompt. Quando la versione a cui punta ottiene punteggi sotto il tuo limite, la regola riporta l'etichetta alla versione precedente, o invia solo un avviso: lo stesso spostamento, registrato nel log di audit, che una persona fa nella console.

  • Tre segnali

    La media di un punteggio, il tasso di superamento di un punteggio superato/non superato, o la quota di voti negativi dei tuoi utenti finali, controllati ogni cinque minuti sulla tua finestra quando le risposte valutate sono sufficienti.

  • Indietro, o solo un avviso

    La regola riporta l'etichetta alla versione precedente o a quella che indichi, o invia solo un avviso. In entrambi i casi finisce nel log di audit e arriva ai tuoi canali di avviso.

  • Etichette protette, autorizzate da una persona

    Una regola che sposta un'etichetta protetta viene salvata da un proprietario o un amministratore nella console. Un token di gestione non ne scrive mai una.

Ogni regola si legge come una frase.

Una regola scatta una sola volta per versione, poi resta inattiva finché qualcuno non sposta di nuovo l'etichetta. Se una persona sposta l'etichetta mentre il controllo è in corso, prevale la persona. Le regole leggono i punteggi, che non contano nella tua quota di richieste, e non chiamano alcun modello.

Metriche, finestre, etichette protette e l'API di gestione sono in Regole di rollback dei prompt.

# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "label": "staging",
    "metric": "thumbs_down_share_above",
    "threshold": 0.3,
    "min_samples": 100,
    "window_minutes": 60,
    "action": "rollback",
    "target_version": "previous"
  }'

Accanto ai tuoi strumenti

Il tuo collector

Ogni richiesta può anche essere inviata come span OpenTelemetry a un collector che scegli tu, dal percorso della richiesta, con endpoint e header impostati nella console. Esecuzioni e punteggi restano in INFRO; le tue trace restano dove il tuo team le legge già.

Esportazione OpenTelemetry

Usi anche Langfuse?

Funzionano insieme. Langfuse è una piattaforma open source di osservabilità e valutazione, con code di annotazione per la revisione umana ed esperimenti che eseguono il tuo codice, recupero e strumenti inclusi, che INFRO non ha. INFRO sta nel percorso della richiesta: instrada, esegue il failover e rifiuta la spesa prima che il tuo provider venga chiamato, e i suoi giudici ed esperimenti girano su quello stesso percorso. Una procedura testata per inviare gli span di INFRO a Langfuse non è ancora pubblicata.

INFRO e Langfuse a confronto

FAQ

INFRO può gestire i prompt?

Sì, in ogni piano. Salva un prompt come versioni numerate con etichette come production e staging, e indicalo su una chat completion con un campo prompt o l'header X-INFRO-Prompt. Il gateway compila la versione prima di routing, allowlist dei modelli, guardrail e controllo di spesa, così ogni controllo legge i messaggi finali, e la versione viene registrata sulla richiesta. Una versione non cambia mai; ripristinare significa spostare l'etichetta su una versione precedente, che le richieste usano entro cinque secondi e senza deploy. L'etichetta protetta production la sposta un proprietario o un amministratore nella console.

Come raccolgo il feedback degli utenti sulle risposte dell'IA?

Ogni risposta riuscita a una chiave del gateway porta un header X-INFRO-Feedback-Token: un token firmato da INFRO che indica una richiesta ed è valido per sette giorni. Passalo alla pagina che mostra la risposta e, quando la persona clicca pollice in su o in giù, invialo a POST /v1/feedback. Quell'endpoint non richiede chiave API, quindi la tua chiave non arriva mai al browser, e il token può valutare la propria richiesta e nient'altro. Il feedback è mostrato sulla richiesta, sulla sua esecuzione e sulla versione del prompt che ha risposto, e i punteggi non contano nella tua quota di richieste.

INFRO può giudicare la qualità delle risposte dell'IA?

Sì, con i valutatori, in ogni piano. Un valutatore è una rubrica che un modello di chat che scegli applica alle risposte, su una delle tue connessioni ai provider attraverso il gateway. Giudica un campione del traffico reale, entro un limite di spesa mensile che imposti tu, o fino a 1,000 richieste registrate quando vuoi, con prima una stima e un tetto di spesa. Ogni verdetto è un punteggio sulla richiesta che ha giudicato, accanto ai tuoi punteggi e al feedback dei tuoi utenti finali. Il giudizio parte dopo l'invio della risposta, quindi non la rallenta né la modifica mai. Ogni chiamata del giudice è una richiesta sul tuo provider, che ti viene fatturata da quel provider e conteggiata nella quota di richieste del tuo piano.

Cos'è un'esecuzione in INFRO?

Le richieste di un flusso di lavoro che portavano lo stesso id di trace: un turno di un agente, una risposta con recupero o una pipeline di documenti. Invia l'id di trace nell'header X-INFRO-Trace-Id o in metadata.trace_id, e il flusso di lavoro in metadata, e GET /v1/runs e la console elencano una riga per esecuzione con richieste, errori, durata, modelli, costo stimato del provider, punteggi e versioni dei prompt. Un'esecuzione copre le chiamate ai modelli passate per INFRO; il tuo database vettoriale, il recupero e la tua capacità di calcolo non rientrano nelle sue cifre.

La mia applicazione può recuperare un prompt e chiamare il provider da sola?

Sì: GET /v1/prompts restituisce i messaggi e le impostazioni di una versione con qualsiasi chiave del gateway che può usare il prompt. Un prompt usato così non è soggetto ai controlli, perché INFRO non vede mai la chiamata: non si applica nessun guardrail, allowlist o limite di spesa, nessuna richiesta registra la versione, e la risposta lo indica. Indicare il prompt su una chat completion tramite INFRO è ciò che applica i controlli.

Come provo una modifica a un prompt o a un modello prima del rilascio?

Esegui un esperimento. Crea un dataset con un clic dalle richieste registrate, o caricane uno come JSONL o CSV, poi rieseguilo attraverso il gateway su un massimo di sei varianti: un modello o una route, una versione di prompt e impostazioni. I tuoi valutatori giudicano ogni risposta. Prima viene la stima: il numero di richieste e il costo stimato del provider per variante. Per partire imposti un tetto di spesa almeno pari alla stima, e l'esecuzione si ferma se la sua spesa lo raggiunge. Il confronto mostra punteggi, tasso di errore, latenza p50 e p95 e costo stimato per elemento di ogni variante, e Promote nella console sposta un'etichetta di prompt alla versione eseguita da una variante.

Un prompt può fare rollback da solo quando la qualità cala?

Sì, con una regola di rollback su un'etichetta come production. Ogni cinque minuti la regola legge i punteggi delle risposte servite dalla versione a cui punta quell'etichetta, su una finestra che scegli tu: la media di un punteggio, il tasso di superamento di un punteggio superato/non superato, o la quota di voti negativi dei tuoi utenti finali. Quando il valore oltrepassa il tuo limite con almeno il numero minimo di risposte valutate, la regola riporta l'etichetta alla versione precedente, o invia solo un avviso. Ogni spostamento è nel log di audit e viene inviato ai tuoi canali di avviso. Una regola che sposta un'etichetta protetta viene salvata da un proprietario o un amministratore nella console.

Tutte le altre domande su INFRO sono nelle FAQ.

Inizia

Qualità e controllo in un unico record.

La richiesta che è stata instradata, prezzata e controllata è la stessa che ha ricevuto il punteggio, in ogni piano.