Zum Inhalt springen

MigrationsleitfädenVon LLM Gateway

Von LLM Gateway, mit Ihren eigenen Anbieterschlüsseln

LLM Gateway (llmgateway.io) läuft über eigenen Anbieterzugang, bezahlt aus Guthaben, über Ihre eigenen Anbieterschlüssel oder beides, mit Ausweichen von Ihren Schlüsseln auf Guthaben. Teams im BYOK-Modus sind INFRO bereits am nächsten. Diese Seite überträgt diesen Modus und sagt offen, was INFRO nicht tut.

llmgateway.io; AGPLv3-Kern mit lizenzierter `ee/`-Edition; gehostet oder selbst gehostet

INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase

Wo die Dinge stehen

Lizenz

theopenco/llmgateway steht im Kern unter AGPLv3, mit kommerziellen Funktionen unter einer separaten Enterprise-Lizenz in ee/. Es wird unter api.llmgateway.io gehostet und kann selbst gehostet werden.

Über wessen Konto die Anfrage läuft

Eigener Anbieterzugang über vorausbezahltes Guthaben, Ihre Anbieterschlüssel (laut Dokumentation ohne Gateway-Aufschlag) oder eine Mischform, die von Ihren Schlüsseln auf Guthaben ausweicht.

Über ein Gateway hinaus

Die Dokumentation behandelt außerdem Coding-Tarife, eine Chat-App, ein Anbieterportal, ein Payments-SDK, Entscheidungen und einen System-One-Endpunkt. Diese sind nicht Teil dieser Zuordnung.

Es ist Open Source und breit aufgestellt. Bleiben Sie dabei, wenn Sie es für einen dieser Zwecke nutzen.

  • Sie hosten selbst unter der AGPL. INFRO ist gehostet; selbst gehostet oder hybrid ist eine Enterprise-Vereinbarung.
  • Sie nutzen reine Modell-IDs, damit es einen Anbieter nach Preis, Verfügbarkeit, Durchsatz oder Latenz wählt, oder die Modellauswahl auto und smart. INFRO wählt nicht nach Preis oder Geschwindigkeit.
  • Ihre AI-SDK-App nutzt den Protokoll-Endpunkt des AI Gateway, und Sie wollen eine Umstellung nur über die Basis-URL. INFRO implementiert dieses Protokoll nicht.
  • Sie nutzen darüber Realtime, OCR oder Suche, Embeddings von anderen Anbietern als OpenAI, Azure OpenAI oder Mistral, oder wollen Modellzugang ohne eigene Anbieterkonten.

Die Änderungen, je eine Zeile. Alles, was hier nicht aufgeführt ist, bleibt, wie es ist.

 LLM GatewayINFRO
Basis-URLhttps://api.llmgateway.io/v1, oder /v1/ai für das AI-SDK-Gateway-Protokoll.https://api.infro.io/v1
SchlüsselEin LLM-Gateway-Schlüssel.Ein INFRO-Gateway-Schlüssel; Ihre Anbieterschlüssel werden zu Verbindungen.
Modell-IDgpt-5.6-terra (Gateway wählt), openai/gpt-5.6-terra (angeheftet), auto, dynamic/<name>.openai/gpt-5.6-terra, oder ein Routenname anstelle von dynamic/<name>.
HeaderX-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id, X-INFRO-Feature; routing.providers, um eine Anfrage bei einem Anbieter zu halten.

Vorher · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Nachher · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

AI-SDK-Apps

Ersetzen Sie den Gateway-Provider durch createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey }) aus @ai-sdk/openai und rufen Sie .chat(modelId) auf. Die Modell-IDs bleiben vendor/model.

Failover ist standardmäßig an

Eine Anfrage, die ein Modell nennt, weicht zwischen Ihren Verbindungen aus, die es bereitstellen. routing.providers.allow hält sie bei gewählten Anbietern, wie es X-No-Fallback oder eine festgelegte ID taten.

Dynamic Routes werden zu Routen

Legen Sie jeden dynamic/<name>-Flow als Route mit denselben Zielen neu an; ein Prompt-Klassifikator deckt das Routing nach Prompt-Typ ab.

Die Objekte von LLM Gateway gegenüber denen von INFRO, anhand der öffentlichen Dokumentation von LLM Gateway, gelesen am 19. Oktober 2026, und geprüft anhand dessen, was das Gateway implementiert. Zwei Zeilen besagen, dass INFRO nichts hat.

LLM GatewayWas es dort tutIn INFRO
Anbieterschlüssel (BYOK)andersIhre Schlüssel mit erlaubten Modellen, Ausgabenlimits und Ratenlimits; hybrider Fallback auf Guthaben.Verbindungen mit Modellen pro Schlüssel; kein Fallback auf das Konto eines anderen.
Routing nach Preis, Durchsatz, LatenznichtsReine IDs und routing-Strategien wählen einen Anbieter.Nichts. Routen legen die Reihenfolge oder Gewichte fest.
`auto`, `smart`, dynamische RoutenandersModell pro Anfrage gewählt oder durch einen benannten Flow.Routen, mit einem Prompt-Klassifikator, der jede Prompt-Klasse an eigene Ziele sendet.
API-Schlüssel und IAM-Regelngleiche FormAusgabenlimits sowie Modell- oder Anbieter-Freigabe und -Sperre pro Schlüssel.Ausgabenlimits, Freigabelisten und Anbieterlisten pro Schlüssel; Budgets auf vier weiteren Ebenen.
Antwort-Caching im Gatewaygleiche FormAntwort-Cache auf Projektebene mit TTL; x-no-cache zum Umgehen.Optionaler Exact-Match-Cache mit TTL und Namespace.
Metadaten-HeaderandersJeder Header X-LLMGateway-*.metadata im Body, oder X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id.
Gateway-Protokoll des AI SDKnichtsDirekter Ersatz für @ai-sdk/gateway-Apps über die Basis-URL.Nicht implementiert. Nutzen Sie den OpenAI-Provider des AI SDK.
Guardrails, Audit-Logs, SSOgleiche FormInhaltsregeln und Sicherheitsereignisse; Audit-Logs und SSO in Enterprise.Guardrails, ein Audit-Log sowie SSO mit SCIM ab dem Tarif Business.
Embeddings, Realtime, OCR, SucheandersBereitgestellt.Embeddings auf Ihrer Verbindung zu OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt. Realtime, OCR und Suche werden nicht bereitgestellt.
SelbsthostingandersAGPLv3-Kern, Docker und Kubernetes.Gehostet. Selbst gehostet oder hybrid ist ein Enterprise-Vertrag.Enterprise — Über einen Enterprise-Vertrag statt per Selbstregistrierung verfügbar.

Unsere Lesart der veröffentlichten Dokumentation von LLM Gateway, kein Test und kein Benchmark. Wenn wir etwas falsch gelesen haben, sagen Sie es uns, und wir korrigieren die Zeile.

Was INFRO nicht tut

  • Einen Anbieter nach Preis, Verfügbarkeit, Durchsatz oder Latenz wählen.
  • Das Vercel-AI-Gateway-Protokoll implementieren.
  • Realtime, OCR oder Suche bereitstellen, oder Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt.
  • Auf ein Konto ausweichen, das nicht Ihnen gehört.
  • Unter einer Open-Source-Lizenz betreiben.

Was nicht übernommen wird

  • Logs, Analysen und Kostenverlauf. Es gibt keinen Import.
  • Guthaben auf Ihrem LLM-Gateway-Konto.
  • Dynamic Routes und IAM-Regeln als Objekte. Bilden Sie sie als Routen und Freigabelisten nach.

Fragen

Unterstützt INFRO das Vercel-AI-Gateway-Protokoll wie LLM Gateway?
Nein. AI-SDK-Apps rufen INFRO über @ai-sdk/openai mit der Basis-URL https://api.infro.io/v1 auf; die Modell-IDs bleiben gleich.
Wer bezahlt die Anbieter?
Sie, direkt, auf Ihren eigenen Konten. INFRO ist ein Abonnement mit 0 % Aufschlag auf Modellausgaben.
Ist INFRO Open Source?
Nein. INFRO ist gehostet; ein selbst gehostetes oder hybrides Deployment ist eine Enterprise-Vereinbarung.

Wechseln Sie mit uns oder auf eigene Faust

Das Migrationsprogramm überträgt Ihr LLM Gateway-Setup in einem Gespräch auf INFRO-Verbindungen, -Routen und -Budgets und zieht den ersten Dienst gemeinsam mit Ihnen um. Ihre Anbieter rechnen weiterhin direkt mit Ihnen ab; INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

14 Tage testen Migrationstermin buchenQuickstart lesen

Quellen

Jede Aussage auf dieser Seite über LLM Gateway stammt aus einer dieser Quellen, gelesen am 19. Oktober 2026. Nichts ist aus einem Test, einem Benchmark oder einem Gespräch abgeleitet.