Naar de inhoud

MigratiegidsenVanaf Kong AI Gateway

Vanaf Kong AI Gateway, of ernaast

Kong AI Gateway zet AI-verkeer op dezelfde gateway als de rest van je API's: AI Models met doelen en balancers, AI Policies voor limieten, caching en guardrails, uitgevoerd op je eigen Kong-dataplanes of Konnect. Als je Kong voor al het andere gebruikt, is dat een sterke reden om te blijven. Deze pagina is voor teams die het AI-deel liever als gehoste control plane willen.

AI Gateway 2.x (2.0 op 2026-07-10, 2.2 op 2026-09-30); gehost op Konnect of zelf gehost

INFRO-accounts zijn selfservice. De catalogus, de documentatie en het API-contract zijn openbaar, de gateway is uitgerold, en alles na v1 is gemarkeerd als Later. Plannen en proefperiode

Hoe het ervoor staat

Versie 2

Kong AI Gateway heeft een eigen versienummering: 2.0.0 kwam uit op 2026-07-10 en 2.2.0 op 2026-09-30. 2.x vervangt de AI Proxy-plugins op Services en Routes door entiteiten: AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

Wiens account het verzoek bedient

Jij. Providercredentials worden op de AI Model Provider gedeclareerd en door de gateway toegevoegd; Kong verkoopt geen inference.

Wie het draait

Konnect host de control plane; dataplanes draaien op je eigen infrastructuur, Kubernetes of de Dedicated Cloud Gateways van Kong. De how-to voor de OpenAI SDK on-prem zegt dat daarvoor Kong Gateway Enterprise nodig is.

Kong is een algemene API-gateway met uitgebreid AI-beleid. AI-verkeer ervan weghalen kost echt iets, en dit zijn de gevallen waarin het zich niet terugbetaalt.

  • Kong staat al voor je API's, en je platformteam beheert het. Eén gateway, één beleidsmodel, één piketdienst.
  • Verkeer moet op je eigen dataplanes of binnen je netwerk blijven. De plannen van INFRO zijn gehost; zelf gehost of hybride is een enterprise-overeenkomst.
  • Je gebruikt semantische caching, de semantische of lowest-latency-balancer, prompttemplates of de promptcompressor. INFRO heeft exact-match caching, routes op prioriteit en gewicht, en geen prompttooling.
  • Je bent afhankelijk van AWS Guardrails, Azure Content Safety of GCP Model Armor via Kong-policies, of van A2A-verkeer. INFRO heeft eigen guardrails en geen A2A.
  • Je geeft files, batches of assistants door, of embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint. INFRO biedt die niet aan.

De wijzigingen, één rij per wijziging. Alles wat hier niet staat, blijft zoals het is.

 Kong AI GatewayINFRO
Basis-URLJe Kong-proxy of $KONNECT_PROXY_URL plus het routepad van het AI Model.https://api.infro.io/v1
SleutelEen Kong consumer key in apikey (key-auth) of een OIDC-bearertoken.Een INFRO-gatewaysleutel in Authorization: Bearer. Providercredentials verhuizen van AI Model Providers naar INFRO-verbindingen.
Model-IDDe upstream modelnaam (gpt-4o) of een alias ingesteld via config.route.model.vendor/model, of een route met je oude alias als naam, zodat aanroepers die blijven sturen.
HeadersUit responses gelezen: X-Cache-Status, X-AI-RateLimit-*.X-INFRO-Cache en X-RateLimit-Limit op responses; budgetten antwoorden 402 in de body.

Voor · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

Na · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

Aliassen worden routes

Elke AI Model-alias wordt een route met dezelfde naam en dezelfde doelen in volgorde. Een gatewaysleutel kan aan benoemde routes worden vastgepind zodat hij geen model direct kan aanroepen, zoals een Kong-consumer beperkt is tot zijn routes.

Consumer groups worden projecten

Token- of kostenlimieten per consumer en per groep worden uitgavenlimieten per sleutel en projectbudgetten. Niveaus voor verzoeksnelheid per sleutel worden gemeld in X-RateLimit-Limit.

Draai beide terwijl je overstapt

Niets houdt Kong en INFRO tegen om naast elkaar te draaien. INFRO kan ook een upstream van Kong zijn, omdat het de OpenAI-vorm beantwoordt.

De objecten van Kong AI Gateway tegenover die van INFRO, op basis van de openbare documentatie van Kong AI Gateway gelezen op 19 oktober 2026 en getoetst aan wat de gateway implementeert. Twee rijen zeggen dat INFRO niets heeft.

Kong AI GatewayWat het daar doetIn INFRO
AI Model Providerzelfde vormHerbruikbare providerdefinitie met credentials.Een providerverbinding, verzegeld, meerdere sleutels per provider met reservesleutels als laatste.
AI Model en doelenzelfde vormEen virtueel model met doelen en een load balancer.Een route met doelen op volgorde of gewicht, if-regels op het verzoek en faalregels per soort.
Balancer-algoritmenandersRound-robin, consistent hashing, least connections, laagste latency, laagste gebruik, semantisch, prioriteit.Alleen prioriteit en gewicht, plus een promptclassifier die een klasse doelen kiest. Geen balancing op latency, gebruik of semantiek.
Retries, failovercriteria, circuit breakerandersRetries, failover_criteria, max_fails en fail_timeout.Faalregels per soort (opnieuw proberen, overschakelen of stoppen) voor 429, 5xx, time-out, verbinding, credential en moderatie. Geen instelling voor een circuit breaker.
AI Auth Strategy en consumersanderskey-auth- of OIDC-identiteiten, gegroepeerd voor policies.Gatewaysleutels per dienst, met allowlists, IP-bereiken en omgevingen. Leden melden zich aan met SSO; gatewaycalls gebruiken sleutels.
AI Rate Limiting AdvancedandersToken- of kostenlimieten per consumer, groep, model, provider, header of pad.Budgetten die weigeren bij een plafond in dollars per organisatie, project, lid, sleutel en eindklant; niveaus voor verzoeksnelheid per sleutel. Geen vensters op tokenaantallen.
AI Semantic CacheandersSemantische en exacte caching in Redis, Valkey of pgvector.Alleen exact-match, optioneel, voor chat completions.
Prompt Guard, Sanitizer, Semantic guardsandersPromptregels op patroon en semantiek, PII-opschoning, responsguards.Guardrails die op patroon blokkeren, maskeren of markeren, plus controles die op een beslismodel draaien. Geen guard op semantische gelijkenis.
Integraties met cloudguardrailsnietsAWS Guardrails, Azure Content Safety en GCP Model Armor.Niets.
Prompt Template, Prompt CompressornietsPrompttemplates en promptcompressie in de gateway.Niets. Prompts blijven in je code.
AI MCP Serverzelfde vormMCP-verkeer op dezelfde gateway.Een MCP-gateway voor je eigen MCP-servers, met goedgekeurde tools en toekenningen per sleutel.
AnalyticsandersTokengebruik, latency en kosten in Konnect-analytics.Geschatte providerkosten per verzoek, dagelijks gereconcilieerd met de eigen kosten-API's van OpenAI en Anthropic als je een beheerderssleutel toevoegt.
Zelf gehoste dataplanesandersOp je eigen infrastructuur draaien.Gehost. Zelf gehost of hybride is een enterprise-overeenkomst.Enterprise — Beschikbaar via een enterprise-overeenkomst, niet via selfservice.

Onze lezing van de gepubliceerde documentatie van Kong AI Gateway, geen proefperiode of benchmark. Als we iets verkeerd hebben gelezen, laat het ons weten en we passen de rij aan.

Wat INFRO niet doet

  • Je niet-AI-API's via een gateway laten lopen.
  • Semantische caching of balancing op semantiek, latency of gebruik.
  • Prompttemplates of compressie.
  • Cloudguardraildiensten integreren, of A2A-verkeer doorgeven.
  • Files, batches of assistants doorgeven, of embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint.
  • Op je eigen dataplanes draaien zonder enterprise-overeenkomst.

Wat niet meekomt

  • Analytics en logs van Konnect. Er is geen importfunctie.
  • Policies als configuratie (decK). Bouw ze opnieuw als routes, budgetten, allowlists en guardrails; de beheer-API van INFRO kan ze vanuit een script aanmaken.

Vragen

Kunnen INFRO en Kong samen draaien?
Ja. INFRO beantwoordt de OpenAI-vorm, dus het kan een upstream van Kong zijn, of diensten kunnen één voor één van Kong naar INFRO verhuizen.
Kan ik mijn modelaliassen houden?
Ja. Maak een INFRO-route met de alias als naam; aanroepers blijven hetzelfde model sturen.
Wie betaalt voor modelgebruik?
Jij, rechtstreeks aan je providers, zoals je bij Kong doet. INFRO is een abonnement met 0% opslag op modeluitgaven.

Overstappen met ons, of zelf

Het migratieprogramma brengt je Kong AI Gateway-setup in een gesprek in kaart naar INFRO-verbindingen, -routes en -budgetten en verhuist de eerste service samen met je. Je providers blijven je rechtstreeks factureren; INFRO is een abonnement en voegt 0% toe aan modeluitgaven.

Probeer 14 dagen Plan een migratiesessieINFRO vs Kong AI GatewayLees de quickstart

Bronnen

Elke uitspraak op deze pagina over Kong AI Gateway komt uit een van deze bronnen, gelezen op 19 oktober 2026. Niets is afgeleid uit een proefperiode, een benchmark of een gesprek.