Cas d'usageFiabilité
Quand un fournisseur tombe, vos fonctionnalités d'IA continuent de répondre.
Placez une route nommée devant les comptes fournisseurs que vous avez déjà. Une requête qui dépasse le délai ou échoue avant le début de sa réponse est réessayée sur la cible suivante que vous avez choisie, et votre client voit une réponse, pas une panne.
Exemple de route. Votre client envoie une requête ; la trace garde chaque tentative.
Le problème
Sans plan de contrôle
- Un incident chez un fournisseur est un incident dans votre produit, aussi longtemps que le sien dure.
- La logique de repli vit dans chaque service, écrite différemment par chaque équipe.
- Un modèle retiré se découvre quand ses requêtes se mettent à échouer.
Avec INFRO
- Les routes listent des cibles par priorité ou pondérées sur vos propres connexions.
- Le basculement se fait dans la passerelle, avant que votre client ne voie une erreur.
- Les retraits sont annoncés à l'avance, et refusés en nommant le modèle à partir de la date d'arrêt.
Fonctionnement
Connectez les comptes que vous payez déjà
Ajoutez vos propres clés pour deux fournisseurs ou plus, ou deux clés et hôtes pour un seul. Rien n'est revendu ; chaque fournisseur vous facture comme aujourd'hui.
Nommer une route
Listez les cibles par ordre de priorité ou par poids. Votre code appelle le nom de la route plutôt qu'un identifiant de modèle : l'ordre change donc sans déploiement.
Décider ce qu'un échec signifie
Les règles d'échec choisissent, par type d'échec, de réessayer, de passer à la cible suivante ou de s'arrêter, et les règles conditionnelles envoient les requêtes correspondantes vers leurs propres cibles.
Ce que vous obtenez
Chacun est documenté, et chacun indique l'offre qui l'inclut. Quand aucune offre n'est nommée, il est inclus dans toutes.
Routes nommées
Cibles par priorité ou pondérées sur vos propres connexions, avec contrôles de santé, nouvelles tentatives et basculement.
DocumentationBasculement avant le premier octet
Une cible qui dépasse le délai ou renvoie une 5xx avant le début de la réponse est réessayée ailleurs sans que votre client le voie.
DocumentationRègles conditionnelles et règles d'échec
Envoyez les requêtes vers leurs propres cibles selon les métadonnées, la fonctionnalité, l'utilisateur final, la clé, le projet, la taille du prompt, le streaming, les outils ou l'heure.
DocumentationHôtes alternatifs et répartition des clés
Une connexion peut lister plusieurs hôtes pour la même clé ; les requêtes de modèle direct sont réparties entre les clés d'un fournisseur, les clés de secours en dernier.
DocumentationRetraits de modèles
Les organisations qui envoient encore un modèle en cours de retrait sont prévenues ; à partir de la date d'arrêt, il est refusé avant tout appel, en nommant le remplaçant.
DocumentationDisponibilité à partir de vos clés
La liste de modèles que renvoie votre propre clé est lue toutes les trois heures, et un modèle qu'elle cesse de lister cesse d'être proposé.
Documentation
Pour qui
- Équipes plateformeUn seul endroit pour définir comment chaque service atteint chaque fournisseur, au lieu d'une bibliothèque de repli par dépôt.
- Ingénieurs d'astreinteChaque tentative échouée dans la trace avec le message propre du fournisseur : la première question trouve sa réponse avant la page.
- Responsables de produitLa mauvaise après-midi d'un fournisseur cesse d'être la mauvaise après-midi de vos utilisateurs.
FAQ
Le basculement passe-t-il à un modèle que je n'ai pas choisi ?
Non. Une route ne passe que vers les cibles que vous y avez listées, dans l'ordre ou avec les poids que vous avez fixés. INFRO ne répond jamais avec un autre modèle à votre place.
Que se passe-t-il si un flux échoue en cours de route ?
Le basculement s'applique avant le début de la réponse. Une fois que des tokens ont atteint votre client, la requête n'est pas rejouée ailleurs ; l'erreur est renvoyée et enregistrée dans la trace.
Ai-je besoin de comptes chez plusieurs fournisseurs ?
C'est utile, mais pas obligatoire : un fournisseur avec deux clés, ou une clé avec un hôte alternatif, donne déjà à une route un endroit où aller. Chaque compte reste à vous et vous facture directement.
Le contrat complet figure dans la Documentation sur les routes, et toutes les autres questions sont dans la FAQ.
Guides pratiques
- Guide pratiqueCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- Guide pratiqueFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- Guide pratiqueSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
Commencer
Essayez-le sur vos propres comptes fournisseurs.
Connectez un fournisseur, créez une clé de passerelle et changez une URL de base. Vos fournisseurs continuent de vous facturer directement ; 0 % de majoration sur les dépenses de modèles.