Zum Inhalt springen

MigrationsleitfädenVon Kong AI Gateway

Von Kong AI Gateway oder parallel dazu

Kong AI Gateway legt KI-Traffic auf dasselbe Gateway wie Ihre übrigen APIs: AI Models mit Zielen und Balancern, AI Policies für Limits, Caching und Guardrails, betrieben auf Ihren eigenen Kong-Data-Planes oder in Konnect. Wenn Sie Kong für alles andere betreiben, ist das ein starker Grund zu bleiben. Diese Seite ist für Teams, die den KI-Teil stattdessen als gehostete Control Plane möchten.

AI Gateway 2.x (2.0 am 2026-07-10, 2.2 am 2026-09-30); in Konnect gehostet oder selbst gehostet

INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase

Wo die Dinge stehen

Version 2

Kong AI Gateway hat eine eigene Versionierung: 2.0.0 erschien am 2026-07-10 und 2.2.0 am 2026-09-30. 2.x ersetzt die AI-Proxy-Plugins auf Services und Routes durch Entitäten: AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

Über wessen Konto die Anfrage läuft

Ihres. Anbieter-Zugangsdaten werden beim AI Model Provider hinterlegt und vom Gateway eingefügt; Kong verkauft keine Inferenz.

Wer es betreibt

Konnect hostet die Control Plane; Data Planes laufen auf Ihrer Infrastruktur, in Kubernetes oder auf den Dedicated Cloud Gateways von Kong. Die OpenAI-SDK-Anleitung für On-Premises nennt Kong Gateway Enterprise als Voraussetzung.

Kong ist ein allgemeines API-Gateway mit umfangreichen KI-Richtlinien. KI-Traffic davon wegzubewegen, kostet tatsächlich etwas, und das sind die Fälle, in denen es sich nicht lohnt.

  • Kong steht bereits vor Ihren APIs, und Ihr Plattform-Team betreibt es. Ein Gateway, ein Richtlinienmodell, eine Rufbereitschaft.
  • Traffic muss auf Ihren eigenen Data Planes oder in Ihrem Netzwerk bleiben. Die Tarife von INFRO sind gehostet; selbst gehostet oder hybrid ist ein Enterprise-Vertrag.
  • Sie nutzen semantisches Caching, den semantischen Balancer oder den mit niedrigster Latenz, Prompt-Templates oder den Prompt-Kompressor. INFRO hat Caching für exakte Treffer, priorisierte und gewichtete Routen und keine Prompt-Werkzeuge.
  • Sie sind über Kong-Richtlinien auf AWS Guardrails, Azure Content Safety oder GCP Model Armor angewiesen oder auf A2A-Traffic. INFRO hat eigene Guardrails und kein A2A.
  • Sie leiten Files, Batches oder Assistants weiter oder Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt. INFRO stellt sie nicht bereit.

Die Änderungen, je eine Zeile. Alles, was hier nicht aufgeführt ist, bleibt, wie es ist.

 Kong AI GatewayINFRO
Basis-URLIhr Kong-Proxy oder $KONNECT_PROXY_URL plus der Routenpfad des AI Model.https://api.infro.io/v1
SchlüsselEin Kong-Consumer-Schlüssel in apikey (key-auth) oder ein OIDC-Bearer-Token.Ein INFRO-Gateway-Schlüssel in Authorization: Bearer. Anbieter-Zugangsdaten ziehen von AI Model Providers in INFRO-Verbindungen um.
Modell-IDDer Upstream-Modellname (gpt-4o) oder ein per config.route.model gesetzter Alias.vendor/model oder eine Route, deren Name Ihr alter Alias ist, sodass Aufrufer ihn weiter senden.
HeaderAus Antworten gelesen: X-Cache-Status, X-AI-RateLimit-*.X-INFRO-Cache und X-RateLimit-Limit in Antworten; Budgets antworten mit 402 im Body.

Vorher · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

Nachher · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

Aliase werden zu Routen

Jeder AI-Model-Alias wird zu einer Route mit demselben Namen und denselben Zielen in derselben Reihenfolge. Ein Gateway-Schlüssel kann auf benannte Routen festgelegt werden, sodass er kein Modell direkt aufrufen kann, so wie ein Kong-Consumer auf seine Routen beschränkt ist.

Consumer Groups werden zu Projekten

Token- oder Kostenlimits pro Consumer und pro Gruppe werden zu Ausgabenlimits pro Schlüssel und Projektbudgets. Anfrageraten-Stufen pro Schlüssel werden in X-RateLimit-Limit gemeldet.

Beides betreiben, während Sie umziehen

Nichts hindert Kong und INFRO daran, nebeneinander zu laufen. INFRO kann auch ein Upstream von Kong sein, da es das OpenAI-Format beantwortet.

Die Objekte von Kong AI Gateway gegenüber denen von INFRO, anhand der öffentlichen Dokumentation von Kong AI Gateway, gelesen am 19. Oktober 2026, und geprüft anhand dessen, was das Gateway implementiert. Zwei Zeilen besagen, dass INFRO nichts hat.

Kong AI GatewayWas es dort tutIn INFRO
AI Model Providergleiche FormWiederverwendbare Anbieterdefinition mit Zugangsdaten.Eine Anbieterverbindung, versiegelt, mehrere Schlüssel pro Anbieter, Reserveschlüssel zuletzt.
AI Model und Zielegleiche FormEin virtuelles Modell mit Zielen und einem Load Balancer.Eine Route mit geordneten oder gewichteten Zielen, Wenn-Regeln auf der Anfrage und Fehlerregeln pro Art.
Balancer-AlgorithmenandersRound-Robin, Consistent Hashing, Least Connections, niedrigste Latenz, geringste Nutzung, semantisch, Priorität.Nur priorisiert und gewichtet, plus ein Prompt-Klassifikator, der eine Klasse von Zielen wählt. Kein Balancing nach Latenz, Nutzung oder Semantik.
Wiederholungen, Failover-Kriterien, Circuit BreakerandersWiederholungen, failover_criteria, max_fails und fail_timeout.Fehlerregeln pro Art (wiederholen, ausweichen oder abbrechen) für 429, 5xx, Timeout, Verbindung, Zugangsdaten und Moderation. Keine Circuit-Breaker-Einstellung.
AI Auth Strategy und Consumersanderskey-auth- oder OIDC-Identitäten, für Richtlinien gruppiert.Gateway-Schlüssel pro Dienst, mit Freigabelisten, IP-Bereichen und Umgebungen. Mitglieder melden sich per SSO an; Gateway-Aufrufe nutzen Schlüssel.
AI Rate Limiting AdvancedandersToken- oder Kostenlimits pro Consumer, Gruppe, Modell, Anbieter, Header oder Pfad.Budgets, die an einer Dollar-Obergrenze pro Organisation, Projekt, Mitglied, Schlüssel und Endkunde ablehnen; Anfrageraten-Stufen pro Schlüssel. Keine Zeitfenster nach Token-Anzahl.
AI Semantic CacheandersSemantisches und exaktes Caching in Redis, Valkey oder pgvector.Nur exakte Treffer, optional, für Chat Completions.
Prompt Guard, Sanitizer, Semantic GuardsandersMuster- und semantische Prompt-Regeln, PII-Bereinigung, Antwortprüfungen.Guardrails, die per Muster blockieren, schwärzen oder markieren, plus Prüfungen mit einem Entscheidungsmodell. Kein Schutz per semantischer Ähnlichkeit.
Integrationen von Cloud-GuardrailsnichtsAWS Guardrails, Azure Content Safety und GCP Model Armor.Nichts.
Prompt Template, Prompt CompressornichtsPrompt-Templates und Prompt-Komprimierung im Gateway.Nichts. Prompts bleiben in Ihrem Code.
AI MCP Servergleiche FormMCP-Traffic auf demselben Gateway.Ein MCP-Gateway für Ihre eigenen MCP-Server, mit freigegebenen Tools und Zuweisungen pro Schlüssel.
AnalyseandersToken-Nutzung, Latenz und Kosten in Konnect-Analysen.Geschätzte Anbieterkosten pro Anfrage, täglich mit den eigenen Kosten-APIs von OpenAI und Anthropic abgeglichen, wo Sie einen Admin-Schlüssel hinzufügen.
Selbst gehostete Data PlanesandersAuf Ihrer eigenen Infrastruktur laufen.Gehostet. Selbst gehostet oder hybrid ist ein Enterprise-Vertrag.Enterprise — Über einen Enterprise-Vertrag statt per Selbstregistrierung verfügbar.

Unsere Lesart der veröffentlichten Dokumentation von Kong AI Gateway, kein Test und kein Benchmark. Wenn wir etwas falsch gelesen haben, sagen Sie es uns, und wir korrigieren die Zeile.

Was INFRO nicht tut

  • Ihre Nicht-KI-APIs über das Gateway leiten.
  • Semantisches Caching oder Balancing nach Semantik, Latenz oder Nutzung.
  • Prompt-Templates oder Komprimierung.
  • Cloud-Guardrail-Dienste integrieren oder A2A-Traffic übertragen.
  • Files, Batches oder Assistants weiterleiten oder Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt.
  • Ohne Enterprise-Vertrag auf Ihren eigenen Data Planes laufen.

Was nicht übernommen wird

  • Analysen und Logs aus Konnect. Es gibt keinen Import.
  • Richtlinien als Konfiguration (decK). Bilden Sie sie als Routen, Budgets, Freigabelisten und Guardrails nach; die Management-API von INFRO kann sie per Skript anlegen.

Fragen

Können INFRO und Kong zusammen laufen?
Ja. INFRO beantwortet das OpenAI-Format, kann also ein Upstream von Kong sein, oder Dienste ziehen nacheinander von Kong zu INFRO um.
Kann ich meine Modell-Aliase behalten?
Ja. Legen Sie eine INFRO-Route mit dem Alias als Namen an; Aufrufer senden weiterhin dasselbe model.
Wer bezahlt die Modellnutzung?
Sie, direkt an Ihre Anbieter, wie mit Kong. INFRO ist ein Abonnement mit 0 % Aufschlag auf Modellausgaben.

Wechseln Sie mit uns oder auf eigene Faust

Das Migrationsprogramm überträgt Ihr Kong AI Gateway-Setup in einem Gespräch auf INFRO-Verbindungen, -Routen und -Budgets und zieht den ersten Dienst gemeinsam mit Ihnen um. Ihre Anbieter rechnen weiterhin direkt mit Ihnen ab; INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

14 Tage testen Migrationstermin buchenINFRO vs. Kong AI GatewayQuickstart lesen

Quellen

Jede Aussage auf dieser Seite über Kong AI Gateway stammt aus einer dieser Quellen, gelesen am 19. Oktober 2026. Nichts ist aus einem Test, einem Benchmark oder einem Gespräch abgeleitet.