Casi d'usoAffidabilità
Quando un provider va giù, le tue funzionalità AI continuano a rispondere.
Metti una route con nome davanti agli account provider che già hai. Una richiesta che va in timeout o fallisce prima dell'inizio della risposta viene ritentata sulla destinazione successiva che hai scelto e il tuo client vede una risposta, non un'interruzione.
Route di esempio. Il tuo client invia una richiesta; la trace conserva ogni tentativo.
Il problema
Senza un piano di controllo
- Un incidente di un provider è un incidente nel tuo prodotto, finché dura il loro.
- La logica di fallback vive in ogni servizio, scritta in modo diverso da ogni team.
- Un modello ritirato si scopre quando le sue richieste cominciano a fallire.
Con INFRO
- Le route elencano destinazioni per priorità o ponderate sulle tue connessioni.
- Il failover avviene nel gateway, prima che il tuo client veda un errore.
- I ritiri vengono annunciati in anticipo e rifiutati per nome dalla data di chiusura.
Come funziona
Collega gli account che già paghi
Aggiungi le tue chiavi per due o più provider, oppure due chiavi e host per uno. Nulla viene rivenduto; ogni provider ti fattura come fa oggi.
Dai un nome a una route
Elenca le destinazioni in ordine di priorità o per peso. Il tuo codice chiama il nome della route invece di un id di modello, così l'ordine cambia senza un deploy.
Decidi cosa significa un errore
Le regole di errore scelgono per tipo di errore se ritentare, passare alla destinazione successiva o fermarsi, e le regole if inviano le richieste corrispondenti alle proprie destinazioni.
Cosa ottieni
Ognuno è documentato, e ognuno indica quale piano lo include. Dove non è indicato un piano, è su ogni piano.
Route con nome
Destinazioni per priorità o ponderate sulle tue connessioni, con controlli di salute, tentativi e failover.
DocumentazioneFailover prima del primo byte
Una destinazione che va in timeout o restituisce 5xx prima dell'inizio della risposta viene ritentata altrove senza che il tuo client lo veda.
DocumentazioneRegole if e regole di errore
Invia le richieste alle proprie destinazioni in base a metadati, funzionalità, utente finale, chiave, progetto, dimensione del prompt, streaming, strumenti o ora del giorno.
DocumentazioneHost alternativi e distribuzione tra chiavi
Una connessione può elencare più host per la stessa chiave; le richieste a modello diretto sono distribuite sulle chiavi di un provider, con le chiavi di riserva per ultime.
DocumentazioneRitiro dei modelli
Le organizzazioni che inviano ancora un modello in ritiro vengono avvisate; dalla data di chiusura viene rifiutato prima di qualsiasi chiamata, indicando il sostituto.
DocumentazioneDisponibilità dalle tue chiavi
L'elenco dei modelli restituito dalla tua chiave viene letto ogni tre ore e un modello che smette di comparire smette di essere offerto.
Documentazione
Per chi è
- Team di piattaformaUn unico posto in cui definire come ogni servizio raggiunge ogni provider, invece di una libreria di fallback per repository.
- Ingegneri di reperibilitàOgni tentativo fallito nella trace con il messaggio del provider stesso, così la prima domanda trova risposta prima della reperibilità.
- Product ownerIl brutto pomeriggio di un provider smette di essere il brutto pomeriggio dei tuoi utenti.
FAQ
Il failover passa a un modello che non ho scelto?
No. Una route passa solo alle destinazioni che hai elencato, nell'ordine o con i pesi che hai impostato. INFRO non risponde mai con un modello diverso per tuo conto.
Cosa succede se uno stream fallisce a metà?
Il failover si applica prima dell'inizio della risposta. Una volta che i token hanno raggiunto il tuo client, la richiesta non viene riprodotta altrove; l'errore viene restituito e registrato nella trace.
Ho bisogno di account con più provider?
Aiuta, ma non è obbligatorio: un provider con due chiavi, o una chiave con un host alternativo, dà già a una route un posto dove andare. Ogni account resta tuo e ti fattura direttamente.
Il contratto completo è nella Documentazione sulle route, e tutte le altre domande sono nelle FAQ.
Guide pratiche
- Guida praticaCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- Guida praticaFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- Guida praticaSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
Inizia
Provalo sui tuoi account dei provider.
Collega un provider, crea una chiave del gateway e cambia un URL di base. I tuoi provider continuano a fatturarti direttamente; 0% di ricarico sulla spesa per i modelli.