KI-Gateways im Vergleich.

Ein Dienst zwischen Ihrer Anwendung und den KI-Modellanbietern, die sie aufruft. Ihr Code sendet Anfragen an einen Endpunkt, und das Gateway wählt den Anbieter, wiederholt oder führt Failover durch, wenn einer ausfällt, protokolliert, was jede Anfrage getan hat und was sie gekostet hat, und setzt die von Ihnen festgelegten Richtlinien durch – Budgets, erlaubte Modelle, Ratenlimits. Die Produkte unterscheiden sich vor allem darin, wer das Anbieterkonto hält, ob die Richtlinie vor dem Aufruf durchgesetzt oder erst danach gemeldet wird und ob Sie das Gateway betreiben oder der Hersteller.

Das hängt vom Produkt ab und ist das Erste, was Sie prüfen sollten. Manche Plattformen kaufen die Inferenz für Sie ein, aus einem Kontostand, den Sie bei ihnen einzahlen; andere routen über Ihre eigenen Anbieterschlüssel, teils mit einer Gebühr auf diese Nutzung; manche bieten beides. INFRO bietet nur Letzteres und nimmt darauf nichts: Ihre Anbieter rechnen direkt mit Ihnen zu Ihren eigenen Preisen ab, und INFRO berechnet ein Abonnement. Die Spalte „Kostenträger“ in der Tabelle oben ist unsere Lesart der Dokumentation des jeweiligen Produkts.

Sie brauchen etwas im Anfragepfad, denn ein Limit kann nur eine Anfrage ablehnen, die es vor dem Anbieter sieht. Mehrere Gateways tun das – INFRO prüft Budgets pro Organisation, Projekt, Mitglied und Schlüssel vor dem Aufruf; OpenRouter, Cloudflare AI Gateway und LiteLLM dokumentieren eigene Budgets oder Ausgabenlimits. Observability-Tools wie Langfuse erfassen die Kosten nach dem Aufruf und können darauf warnen, was nützlich ist, aber sie stoppen die Anfrage nicht.

Fast jedes Produkt auf dieser Seite schätzt die Kosten pro Anfrage. Die Fragen, die sie unterscheiden, lauten: Welchen Preis nutzt die Schätzung (den Listenpreis des Herstellers oder den Preis Ihres Vertrags), was passiert, wenn ein Modell keinen bekannten Preis hat, und wird die Zahl jemals mit der Rechnung des Anbieters abgeglichen. INFRO verwendet ab dem Team-Tarif Ihre ausgehandelten Preise, markiert eine Anfrage als ohne Preisangabe, statt zu raten, und gleicht im Business-Tarif die Schätzung des Monats mit den Kosten-APIs von OpenAI und Anthropic ab.

Nicht immer. Wenn Routing und Anbieterzugang gelöst sind und niemand Budgets braucht, die eine Anfrage ablehnen, genügt vielleicht ein Observability- und Evaluationstool wie Langfuse. Wenn Sie Routing, Failover und durchgesetzte Budgets brauchen, brauchen Sie ein Gateway; und Teams, die zusätzlich tiefe Evaluation und Prompt-Management wollen, betreiben oft beides, wobei das Gateway Traces an das Observability-Tool exportiert.

Aus der öffentlichen Dokumentation jedes Produkts, gelesen an dem Datum, das die jeweilige Seite nennt – nicht aus einem Test oder einem Benchmark. Jede Seite sagt klar, wenn das andere Produkt die bessere Wahl ist, keine nennt den Preis eines Wettbewerbers, und wo die Dokumentation mehrdeutig ist, wird die Bewertung abgeschwächt, statt sie zu verteidigen. Wenn Sie eine Zeile für falsch halten, sagen Sie es uns, und wir korrigieren sie.