Kann INFRO vor unserem bestehenden Proxy sitzen?

Ja. Verbinden Sie den Proxy als openai-compatible-Verbindung mit seiner Basis-URL und seinem Schlüssel und routen Sie zu ihm wie zu jedem Anbieter, während Sie seine Upstreams umziehen.

Ändern sich unsere Anbieterverträge?

Nein. Sie verbinden die Anbieterkonten, die Sie haben, und Ihre Anbieter rechnen weiterhin direkt zu Ihren eigenen Preisen mit Ihnen ab. INFRO ist ein Abonnement mit 0 % Aufschlag auf Modellausgaben.

Was bleibt unser Code?

Alles, was den Prompt oder die Antwort verändert: Templating, Retrieval, eigene Bereinigung, Nachbearbeitung.

MigrationsleitfädenVon ein selbst gebauter KI-Proxy

Von einem selbst gebauten Proxy zu einer Control Plane, die Sie nicht betreiben

Viele Teams haben einen kleinen Dienst vor OpenAI und Anthropic geschrieben: Er hält die Schlüssel, wiederholt, protokolliert, zählt Tokens gegen eine Kostentabelle und setzt ein Kontingent pro Team durch. Diese Seite ordnet jede dieser Aufgaben INFRO zu, sagt, welche Ihr Code bleiben, und zeigt, wie Sie Dienst für Dienst umziehen, während der Proxy weiterläuft.

Ihr eigener Dienst vor den Anbietern: Schlüssel, Wiederholungen, Logging, Kontingente

INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase

Wo die Dinge stehen

Was diese Proxys üblicherweise tun

Anbieterschlüssel halten, interne Schlüssel pro Team ausgeben, wiederholen und ausweichen, Anfragen protokollieren, Tokens nach einer handgepflegten Tabelle bepreisen und ein Team über seinem Kontingent ablehnen.

Was ihr Erhalt kostet

Jemand ist zuständig für die Preistabelle, die neuen Modelle, die neuen Parameter jedes Anbieters, die Datenbank hinter den Logs und die Rufbereitschaft für den Proxy selbst.

Zwei Wege umzuziehen

Ersetzen Sie ihn: Dienste rufen INFRO auf, das Ihre Anbieter aufruft. Oder behalten Sie ihn eine Weile hinter INFRO: Verbinden Sie den Proxy als openai-compatible-Verbindung und ziehen Sie seine Upstreams nacheinander um.

Ein selbst geschriebener Proxy tut genau das, was Sie brauchen, und das ist etwas wert. Behalten Sie ihn, wenn einer dieser Punkte der Grund für seine Existenz ist.

Er verändert die Anfrage: Prompt-Templating, in den Kontext eingefügtes Retrieval, PII-Bereinigung mit eigenen Modellen oder Nachbearbeitung der Antwort. Die Guardrails von INFRO sind Musterregeln und Prüfungen per Entscheidungsmodell; INFRO führt Ihren Code nicht im Anfragepfad aus.
Er muss in Ihrem Netzwerk oder einer benannten Region laufen. Die Tarife von INFRO werden im Netz von Cloudflare gehostet; ein selbst gehostetes oder hybrides Deployment ist ein Enterprise-Vertrag.
Er stellt Modelle bereit, die keine Anbieter-API anbietet, etwa Gewichte, die Sie auf internen GPUs hosten, und sonst nichts. INFRO kann als openai-compatible-Verbindung zu diesem Server routen, aber der Server bleibt Ihrer.
Er ist klein, hat einen Verantwortlichen, und niemand fragt nach Budgets, Zuordnung oder Failover. Dann ist ein Gateway eine Migration, an deren Ende nichts steht.

Die Änderungen, je eine Zeile. Alles, was hier nicht aufgeführt ist, bleibt, wie es ist.

	Ihr Proxy	INFRO
Basis-URL	Der interne Host Ihres Proxys.	`https://api.infro.io/v1` (OpenAI-Format), `/v1/messages` (Anthropic-Format), `/v1/responses` (OpenAI Responses).
Schlüssel	Ein interner Schlüssel, den Ihr Proxy pro Team oder Dienst ausgegeben hat.	Ein INFRO-Gateway-Schlüssel pro Dienst, mit eigener Modell-Freigabeliste, Anbieterliste, IP-Bereichen, Umgebung und eigenem Ausgabenlimit.
Modell-ID	Alle Aliase, die Ihr Proxy definiert hat.	`vendor/model` oder ein Routenname: Eine Route ist ein Alias, der zu einer geordneten Liste Ihrer Verbindungen aufgelöst wird, bearbeitet in der Konsole.
Header	Ihre eigenen Header für Team, Nutzer oder Feature.	`X-INFRO-Feature`, `X-INFRO-User-Id`, `X-INFRO-Trace-Id` oder `metadata.user_id`, `metadata.session_id`, `metadata.tags` im Body.

Vorher · Ihr Proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm-proxy.internal.example.com/v1",
  apiKey: process.env.LLM_PROXY_KEY,
  defaultHeaders: { "X-Team": "search" },
});

await client.chat.completions.create({
  model: "default-chat",
  messages: [{ role: "user", content: "Hello" }],
});

Nachher · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY, // one key per service
  defaultHeaders: { "X-INFRO-Feature": "search" },
});

await client.chat.completions.create({
  model: "default-chat", // a route with the same name
  messages: [{ role: "user", content: "Hello" }],
});

Ihre Aliase behalten

Legen Sie für jeden Alias, den Ihr Proxy definiert hat, eine Route mit demselben Namen an, und Dienste senden weiterhin dasselbe model. Ein Schlüssel kann auf benannte Routen festgelegt werden, sodass er kein Modell direkt aufrufen kann.

Dienst für Dienst umziehen

Verbinden Sie den Proxy selbst als openai-compatible-Verbindung und fügen Sie ihn als Routenziel hinzu. Dienste können zuerst zu INFRO wechseln; die Upstreams ziehen danach vom Proxy auf direkte Verbindungen um.

Teams werden zu Projekten

Kontingente pro Team werden zu Projektbudgets und Ausgabenlimits pro Schlüssel. Mitglieder können auf die Projekte beschränkt werden, an denen sie arbeiten.

Was Ihr Setup heute tut, gegenüber INFRO, geprüft anhand dessen, was das Gateway implementiert. Eine Zeile besagt, dass INFRO nichts hat.

Ihr Proxy	Was es dort tut	In INFRO
Schlüsseltresorgleiche Form	Anbieterschlüssel in der Konfiguration des Proxys oder einem Secret Store.	Anbieterverbindungen, im Ruhezustand versiegelt, mehrere Schlüssel pro Anbieter, Reserveschlüssel zuletzt.
Interne Schlüsselgleiche Form	Schlüssel, die der Proxy pro Team oder Dienst ausgibt.	Gateway-Schlüssel mit Modell-Freigabelisten, Anbieterlisten, IP-Bereichen, einer Umgebung, einem Ausgabenlimit, Rotation und einem Ausschalter.
Wiederholungen und Fallbacksgleiche Form	Code im Proxy.	Routen mit priorisierten oder gewichteten Zielen, Wenn-Regeln auf der Anfrage und Fehlerregeln pro Art (429, 5xx, Timeout, Verbindung, Zugangsdaten, Moderation).
Kontingentegleiche Form	Token- oder Dollar-Zähler pro Team.	Budgets pro Organisation, Projekt, Mitglied, Schlüssel und Endkunde, die am Limit mit `402` ablehnen, auch bei parallelen Anfragen.
Preistabelleanders	Eine von Hand gepflegte Tabelle mit Preisen pro Token.	Der Listenpreis des Herstellers aus dem INFRO-Katalog, Ihre ausgehandelten Preise, wo Sie sie eintragen, und `unpriced`, wo keiner bekannt ist, niemals null.
Anfrageprotokolleanders	Zeilen in Ihrer eigenen Datenbank.	Das Anfrageprotokoll und Traces in der Konsole, `GET /v1/requests`, Exporte und Spans an Ihren OpenTelemetry Collector. Die Prompt-Erfassung ist aus, bis Sie sie einschalten.
Transformationen von Prompt und Antwortnichts	Templating, Retrieval, Bereinigung mit eigener Logik.	Nicht verfügbar. Guardrails blockieren, schwärzen oder markieren per Muster und per Prüfung mit Entscheidungsmodell; INFRO führt Ihren Code nicht aus.
Selbst gehostete Modelleanders	vLLM, TGI oder Ollama hinter dem Proxy.	Eine `openai-compatible`-Verbindung zu diesem Server, geroutet wie jeder andere Anbieter. Den Server betreiben weiterhin Sie.
Selbst betreibenanders	Er läuft dort, wo Sie ihn deployen.	Gehostet. Ein selbst gehostetes oder hybrides Deployment ist ein Enterprise-Vertrag, kein Tarif.Enterprise — Über einen Enterprise-Vertrag statt per Selbstregistrierung verfügbar.

Was INFRO nicht tut

Eigenen Code im Anfragepfad ausführen: Prompt-Templating, Retrieval, eigene Transformationen.
Batch, Files, Fine-Tuning und Realtime oder Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt.
Bindung an eine Region; Datenresidenz steht auf der Roadmap und ist nicht verfügbar.
Ein selbst gehostetes Deployment ohne Enterprise-Vertrag.

Was nicht übernommen wird

Die Logs Ihres Proxys. Es gibt keinen Import; lassen Sie sie, wo sie sind.
Seine Preistabelle. Tragen Sie stattdessen ausgehandelte Preise in der Konsole ein; Listenpreise kommen aus dem Katalog.
Eigene Transformationen. Sie bleiben in Ihrem Code, vor dem Aufruf an INFRO.

Fragen

Kann INFRO vor unserem bestehenden Proxy sitzen?: Ja. Verbinden Sie den Proxy als openai-compatible-Verbindung mit seiner Basis-URL und seinem Schlüssel und routen Sie zu ihm wie zu jedem Anbieter, während Sie seine Upstreams umziehen.
Ändern sich unsere Anbieterverträge?: Nein. Sie verbinden die Anbieterkonten, die Sie haben, und Ihre Anbieter rechnen weiterhin direkt zu Ihren eigenen Preisen mit Ihnen ab. INFRO ist ein Abonnement mit 0 % Aufschlag auf Modellausgaben.
Was bleibt unser Code?: Alles, was den Prompt oder die Antwort verändert: Templating, Retrieval, eigene Bereinigung, Nachbearbeitung.

Wechseln Sie mit uns oder auf eigene Faust

Das Migrationsprogramm überträgt Ihr ein selbst gebauter KI-Proxy-Setup in einem Gespräch auf INFRO-Verbindungen, -Routen und -Budgets und zieht den ersten Dienst gemeinsam mit Ihnen um. Ihre Anbieter rechnen weiterhin direkt mit Ihnen ab; INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

14 Tage testen Migrationstermin buchen Quickstart lesen

Quellen

Das SDK-Verhalten auf dieser Seite stammt aus diesen Quellen, gelesen am 19. Oktober 2026.

OpenAI — openai-node README (baseURL and defaultHeaders)gelesen am 19. Okt. 2026
OpenAI — openai-python README (base_url and default_headers)gelesen am 19. Okt. 2026