AnwendungsfälleZuverlässigkeit
Wenn ein Anbieter ausfällt, antworten Ihre KI-Funktionen weiter.
Stellen Sie eine benannte Route vor die Anbieterkonten, die Sie bereits haben. Eine Anfrage, die in ein Timeout läuft oder fehlschlägt, bevor ihre Antwort beginnt, wird beim nächsten von Ihnen gewählten Ziel wiederholt, und Ihr Client sieht eine Antwort und keinen Ausfall.
Beispiel-Route. Ihr Client sendet eine Anfrage; der Trace behält jeden Versuch.
Das Problem
Ohne Control Plane
- Ein Vorfall beim Anbieter ist ein Vorfall in Ihrem Produkt, so lange er dauert.
- Fallback-Logik lebt in jedem Dienst, von jedem Team anders geschrieben.
- Ein abgekündigtes Modell wird entdeckt, wenn seine Anfragen zu scheitern beginnen.
Mit INFRO
- Routen listen Prioritäts- oder gewichtete Ziele über Ihre eigenen Verbindungen auf.
- Failover geschieht im Gateway, bevor Ihr Client einen Fehler sieht.
- Abkündigungen werden im Voraus angekündigt und ab dem Abschaltdatum beim Namen abgelehnt.
So funktioniert es
Verbinden Sie die Konten, für die Sie bereits zahlen
Fügen Sie Ihre eigenen Schlüssel für zwei oder mehr Anbieter hinzu, oder zwei Schlüssel und Hosts für einen. Es wird nichts weiterverkauft; jeder Anbieter rechnet mit Ihnen ab wie heute.
Eine Route benennen
Listen Sie Ziele nach Priorität oder Gewicht auf. Ihr Code ruft den Namen der Route statt einer Modell-ID auf, sodass sich die Reihenfolge ohne Deployment ändert.
Festlegen, was ein Fehler bedeutet
Fehlerregeln wählen pro Fehlerart, ob wiederholt, zum nächsten Ziel gewechselt oder gestoppt wird, und If-Regeln senden passende Anfragen an eigene Ziele.
Was Sie bekommen
Jede ist dokumentiert, und bei jeder steht, welcher Tarif sie enthält. Wo kein Tarif genannt ist, ist sie in jedem Tarif enthalten.
Benannte Routen
Prioritäts- oder gewichtete Ziele über Ihre eigenen Verbindungen, mit Health-Checks, Wiederholungen und Failover.
DokuFailover vor dem ersten Byte
Ein Ziel, das in ein Timeout läuft oder vor Beginn der Antwort 5xx liefert, wird anderswo wiederholt, ohne dass Ihr Client es sieht.
DokuIf-Regeln und Fehlerregeln
Senden Sie Anfragen nach Metadaten, Feature, Endnutzer, Schlüssel, Projekt, Prompt-Größe, Streaming, Tools oder Tageszeit an eigene Ziele.
DokuAlternative Hosts und Schlüsselverteilung
Eine Verbindung kann mehr Hosts für denselben Schlüssel auflisten; Anfragen an direkte Modelle werden über die Schlüssel eines Anbieters verteilt, Standby-Schlüssel zuletzt.
DokuModellabkündigungen
Organisationen, die noch ein auslaufendes Modell senden, werden gewarnt; ab dem Abschaltdatum wird es vor jedem Aufruf mit Nennung des Ersatzes abgelehnt.
DokuVerfügbarkeit aus Ihren Schlüsseln
Die Modellliste, die Ihr eigener Schlüssel liefert, wird alle drei Stunden gelesen, und ein Modell, das er nicht mehr aufführt, wird nicht mehr angeboten.
Doku
Für wen es ist
- PlattformteamsEin Ort, um zu definieren, wie jeder Dienst jeden Anbieter erreicht, statt einer Fallback-Bibliothek pro Repository.
- Bereitschafts-EngineersJeder fehlgeschlagene Versuch im Trace mit der eigenen Meldung des Anbieters, sodass die erste Frage beantwortet ist, bevor die Seite kommt.
- Product OwnerDer schlechte Nachmittag eines Anbieters ist nicht mehr der schlechte Nachmittag Ihrer Nutzer.
FAQ
Wechselt Failover zu einem Modell, das ich nicht gewählt habe?
Nein. Eine Route wechselt nur zu den Zielen, die Sie darauf aufgelistet haben, in der von Ihnen gesetzten Reihenfolge oder Gewichtung. INFRO antwortet nie mit einem anderen Modell in Ihrem Namen.
Was passiert, wenn ein Stream auf halbem Weg fehlschlägt?
Failover greift, bevor die Antwort beginnt. Sobald Tokens Ihren Client erreicht haben, wird die Anfrage nicht anderswo wiederholt; der Fehler wird zurückgegeben und im Trace erfasst.
Brauche ich Konten bei mehreren Anbietern?
Es hilft, ist aber nicht erforderlich: Ein Anbieter mit zwei Schlüsseln oder ein Schlüssel mit einem alternativen Host gibt einer Route bereits ein Ziel. Jedes Konto bleibt Ihres und rechnet direkt mit Ihnen ab.
Der vollständige Vertrag steht in der Dokumentation zu Routen, und alle anderen Fragen stehen in den FAQ.
Praxisleitfäden
- PraxisleitfadenCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- PraxisleitfadenFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- PraxisleitfadenSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
Loslegen
Probieren Sie es auf Ihren eigenen Anbieterkonten aus.
Verbinden Sie einen Anbieter, erstellen Sie einen Gateway-Schlüssel und ändern Sie eine Basis-URL. Ihre Anbieter rechnen weiter direkt mit Ihnen ab; 0 % Aufschlag auf Modellausgaben.