Use casesBetrouwbaarheid
Wanneer een provider uitvalt, blijven je AI-features antwoorden.
Zet een benoemde route voor de provideraccounts die je al hebt. Een verzoek dat een time-out geeft of mislukt voordat zijn antwoord begint, wordt opnieuw geprobeerd op het volgende doel dat je koos, en je client ziet één antwoord, geen storing.
Voorbeeldroute. Je client stuurt één verzoek; de trace bewaart elke poging.
Het probleem
Zonder control plane
- Een incident bij een provider is een incident in je product, zolang het hunne duurt.
- Fallbacklogica zit in elke service, door elk team anders geschreven.
- Een buiten gebruik gesteld model wordt ontdekt wanneer de verzoeken beginnen te falen.
Met INFRO
- Routes noemen doelen op prioriteit of gewicht over je eigen verbindingen.
- Failover gebeurt in de gateway, voordat je client een fout ziet.
- Uitfaseringen worden vooraf aangekondigd en vanaf de uitschakeldatum bij naam geweigerd.
Hoe het werkt
Koppel de accounts waarvoor je al betaalt
Voeg je eigen sleutels toe voor twee of meer providers, of twee sleutels en hosts voor één. Er wordt niets doorverkocht; elke provider factureert je zoals vandaag.
Geef een route een naam
Noem doelen op volgorde van prioriteit of op gewicht. Je code roept de naam van de route aan in plaats van een model-ID, zodat de volgorde verandert zonder deploy.
Bepaal wat een fout betekent
Faalregels kiezen per soort fout of er opnieuw wordt geprobeerd, naar het volgende doel wordt gegaan of wordt gestopt, en if-regels sturen overeenkomende verzoeken naar hun eigen doelen.
Wat je krijgt
Elk ervan is gedocumenteerd, en bij elk staat welk plan het bevat. Waar geen plan wordt genoemd, zit het in elk plan.
Benoemde routes
Doelen op prioriteit of gewicht over je eigen verbindingen, met gezondheidscontroles, nieuwe pogingen en failover.
DocsFailover vóór de eerste byte
Een doel dat een time-out geeft of 5xx teruggeeft voordat het antwoord begint, wordt elders opnieuw geprobeerd zonder dat je client het ziet.
DocsIf-regels en faalregels
Stuur verzoeken naar eigen doelen op basis van metadata, feature, eindgebruiker, sleutel, project, promptgrootte, streaming, tools of tijdstip.
DocsAlternatieve hosts en sleutelspreiding
Een verbinding kan meer hosts voor dezelfde sleutel noemen; verzoeken met een direct model worden gespreid over de sleutels van een provider, standby-sleutels als laatste.
DocsUitfasering van modellen
Organisaties die nog een model sturen dat wordt uitgefaseerd, worden gewaarschuwd; vanaf de uitschakeldatum wordt het vóór elke aanroep geweigerd, met de naam van de vervanger.
DocsBeschikbaarheid uit je eigen sleutels
De modellijst die je eigen sleutel teruggeeft, wordt elke drie uur gelezen, en een model dat hij niet meer noemt, wordt niet meer aangeboden.
Docs
Voor wie het is
- PlatformteamsEén plek om te bepalen hoe elke service elke provider bereikt, in plaats van een fallbackbibliotheek per repository.
- Engineers met bereikbaarheidsdienstElke mislukte poging in de trace met het eigen bericht van de provider, zodat de eerste vraag is beantwoord voordat de pagina je bereikt.
- Product ownersDe slechte middag van een provider houdt op de slechte middag van je gebruikers te zijn.
FAQ
Schakelt failover over naar een model dat ik niet koos?
Nee. Een route gaat alleen naar de doelen die je erop noemde, in de volgorde of met de gewichten die je instelde. INFRO antwoordt nooit namens jou met een ander model.
Wat gebeurt er als een stream halverwege faalt?
Failover geldt voordat het antwoord begint. Zodra tokens je client hebben bereikt, wordt het verzoek niet elders opnieuw afgespeeld; de fout wordt teruggegeven en in de trace vastgelegd.
Heb ik accounts bij meerdere providers nodig?
Het helpt, maar is niet vereist: één provider met twee sleutels, of één sleutel met een alternatieve host, geeft een route al een plek om heen te gaan. Elk account blijft van jou en factureert je rechtstreeks.
Het volledige contract staat in de Documentatie routes, en elke andere vraag staat in de FAQ.
Praktijkgidsen
- PraktijkgidsCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- PraktijkgidsFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- PraktijkgidsSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
Aan de slag
Probeer het op je eigen provideraccounts.
Koppel een provider, maak een gatewaysleutel en verander één basis-URL. Je providers blijven je rechtstreeks factureren; 0% opslag op modeluitgaven.