Vai al contenuto

Guide alla migrazioneDa Kong AI Gateway

Da Kong AI Gateway, o al suo fianco

Kong AI Gateway mette il traffico IA sullo stesso gateway del resto delle tue API: AI Model con destinazioni e bilanciatori, AI Policy per limiti, caching e guardrail, eseguiti sui tuoi data plane Kong o su Konnect. Se usi Kong per tutto il resto, è un forte motivo per restare. Questa pagina è per i team che vogliono invece la parte IA come piano di controllo ospitato.

AI Gateway 2.x (2.0 il 2026-07-10, 2.2 il 2026-09-30); ospitato su Konnect o self-hosted

Gli account INFRO sono self-service. Il catalogo, la documentazione e il contratto dell'API sono pubblici, il gateway è in produzione e tutto ciò che va oltre la v1 è indicato come "Più avanti". Piani e prova

A che punto siamo

Versione 2

Kong AI Gateway ha un proprio versionamento: 2.0.0 è uscita il 2026-07-10 e 2.2.0 il 2026-09-30. La 2.x sostituisce i plugin AI Proxy su Services e Routes con entità: AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

Su quale account viene servita la richiesta

Tuo. Le credenziali dei provider sono dichiarate sull'AI Model Provider e iniettate dal gateway; Kong non vende inferenza.

Chi lo gestisce

Konnect ospita il piano di controllo; i data plane girano sulla tua infrastruttura, su Kubernetes o sui Dedicated Cloud Gateways di Kong. La guida all'SDK OpenAI per l'on-prem dice che richiede Kong Gateway Enterprise.

Kong è un gateway API generico con policy IA approfondite. Spostare il traffico IA fuori da Kong è un costo reale, e questi sono i casi in cui non conviene.

  • Kong gestisce già le tue API, e il tuo team di piattaforma lo amministra. Un gateway, un modello di policy, una reperibilità.
  • Il traffico deve restare sui tuoi data plane o nella tua rete. I piani di INFRO sono hosted; self-hosted o ibrido è un accordo enterprise.
  • Usi il caching semantico, il bilanciatore semantico o a latenza minima, i template di prompt o il prompt compressor. INFRO ha caching a corrispondenza esatta, route a priorità e pesate, e nessuno strumento per i prompt.
  • Ti affidi ad AWS Guardrails, Azure Content Safety o GCP Model Armor tramite le policy di Kong, o al traffico A2A. INFRO ha i propri guardrail e nessun A2A.
  • Fai da proxy a file, batch o assistants, o a embedding su provider diversi da OpenAI, Azure OpenAI, Mistral o un endpoint compatibile con OpenAI. INFRO non li serve.

Le modifiche, una riga ciascuna. Tutto ciò che non è elencato qui resta com'è.

 Kong AI GatewayINFRO
URL di baseIl tuo proxy Kong o $KONNECT_PROXY_URL più il percorso della route dell'AI Model.https://api.infro.io/v1
ChiaveUna chiave consumer di Kong in apikey (key-auth) o un bearer token OIDC.Una chiave del gateway INFRO in Authorization: Bearer. Le credenziali dei provider passano dagli AI Model Provider alle connessioni INFRO.
Id del modelloIl nome del modello upstream (gpt-4o) o un alias impostato da config.route.model.vendor/model, o una route il cui nome è il tuo vecchio alias, così i chiamanti continuano a inviarlo.
HeaderLetti dalle risposte: X-Cache-Status, X-AI-RateLimit-*.X-INFRO-Cache e X-RateLimit-Limit nelle risposte; i budget rispondono 402 nel corpo.

Prima · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

Dopo · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

Gli alias diventano route

Ogni alias AI Model diventa una route con lo stesso nome e le stesse destinazioni nello stesso ordine. Una chiave del gateway può essere vincolata a route con nome così non può chiamare direttamente un modello, come un consumer Kong è limitato alle sue route.

I consumer group diventano progetti

I limiti di token o costo per consumer e per gruppo diventano limiti di spesa per chiave e budget di progetto. I livelli di frequenza delle richieste per chiave sono riportati in X-RateLimit-Limit.

Usali entrambi durante il passaggio

Nulla impedisce a Kong e INFRO di funzionare fianco a fianco. INFRO può anche essere un upstream di Kong, dato che risponde nella forma di OpenAI.

Gli oggetti di Kong AI Gateway a confronto con quelli di INFRO, dalla documentazione pubblica di Kong AI Gateway letta il 19 ottobre 2026 e verificati con ciò che il gateway implementa. Due righe dicono che INFRO non ha nulla.

Kong AI GatewayCosa fa lìIn INFRO
AI Model Providerstessa formaDefinizione riutilizzabile del provider che contiene le credenziali.Una connessione al provider, sigillata, più chiavi per provider con le chiavi di riserva per ultime.
AI Model e destinazionistessa formaUn modello virtuale con destinazioni e un load balancer.Una route con destinazioni ordinate o pesate, regole condizionali sulla richiesta e regole di errore per tipo.
Algoritmi di bilanciamentodiversoRound-robin, consistent hashing, least connections, latenza minima, utilizzo minimo, semantico, priorità.Solo a priorità e pesato, più un classificatore di prompt che sceglie una classe di destinazioni. Nessun bilanciamento per latenza, utilizzo o semantico.
Retry, criteri di failover, circuit breakerdiversoRetry, failover_criteria, max_fails e fail_timeout.Regole di errore per tipo (ritenta, passa in failover o fermati) per 429, 5xx, timeout, connessione, credenziale e moderazione. Nessuna impostazione di circuit breaker.
AI Auth Strategy e consumerdiversoIdentità key-auth o OIDC, raggruppate per le policy.Chiavi del gateway per servizio, con liste di autorizzazione, intervalli IP e ambienti. I membri accedono con SSO; le chiamate al gateway usano le chiavi.
AI Rate Limiting AdvanceddiversoLimiti di token o costo per consumer, gruppo, modello, provider, header o percorso.Budget che rifiutano a un tetto in dollari per organizzazione, progetto, membro, chiave e cliente finale; livelli di frequenza delle richieste per chiave. Nessuna finestra basata sul conteggio dei token.
AI Semantic CachediversoCaching semantico ed esatto in Redis, Valkey o pgvector.Solo a corrispondenza esatta, opzionale, per le chat completions.
Prompt Guard, Sanitizer, Semantic guardsdiversoRegole sui prompt a pattern e semantiche, rimozione delle PII, protezioni sulle risposte.Guardrail che bloccano, oscurano o segnalano tramite pattern, più controlli eseguiti su un modello decisionale. Nessuna protezione basata sulla somiglianza semantica.
Integrazioni con guardrail cloudnienteAWS Guardrails, Azure Content Safety e GCP Model Armor.Nulla.
Prompt Template, Prompt CompressornientePrompt da template e compressione dei prompt nel gateway.Nulla. I prompt restano nel tuo codice.
AI MCP Serverstessa formaTraffico MCP sullo stesso gateway.Un gateway MCP per i tuoi server MCP, con strumenti approvati e autorizzazioni per chiave.
AnalisidiversoUtilizzo dei token, latenza e costo negli analytics di Konnect.Costo stimato del provider per richiesta, riconciliato ogni giorno con le API dei costi di OpenAI e Anthropic dove aggiungi una chiave amministrativa.
Data plane self-hosteddiversoGirare sulla tua infrastruttura.Hosted. Self-hosted o ibrido è un accordo enterprise.Enterprise — Disponibile con un contratto enterprise anziché in self-service.

È la nostra lettura della documentazione pubblicata da Kong AI Gateway, non una prova o un benchmark. Se abbiamo letto male qualcosa, diccelo e correggeremo la riga.

Cosa non fa INFRO

  • Fare da gateway per le tue API non IA.
  • Caching semantico o bilanciamento semantico, per latenza o per utilizzo.
  • Template o compressione dei prompt.
  • Integrare servizi di guardrail cloud, o trasportare traffico A2A.
  • Fare da proxy a file, batch o assistants, o a embedding su provider diversi da OpenAI, Azure OpenAI, Mistral o un endpoint compatibile con OpenAI.
  • Girare sui tuoi data plane senza un accordo enterprise.

Cosa non si porta con sé

  • Analytics e log di Konnect. Non c'è uno strumento di importazione.
  • Policy come configurazione (decK). Ricreale come route, budget, liste di autorizzazione e guardrail; la management API di INFRO può crearle da uno script.

Domande

INFRO e Kong possono funzionare insieme?
Sì. INFRO risponde nella forma di OpenAI, quindi può essere un upstream di Kong, oppure i servizi possono passare da Kong a INFRO uno alla volta.
Posso mantenere i miei alias dei modelli?
Sì. Crea una route INFRO con l'alias come nome; i chiamanti continuano a inviare lo stesso model.
Chi paga l'uso dei modelli?
Tu, direttamente ai tuoi provider, come fai con Kong. INFRO è un abbonamento con 0% di ricarico sulla spesa per i modelli.

Migra con noi, o da solo

Il programma di migrazione mappa in una call la tua configurazione Kong AI Gateway su connessioni, route e budget di INFRO e migra con te il primo servizio. I tuoi provider continuano a fatturarti direttamente; INFRO è un abbonamento e aggiunge 0% alla spesa per i modelli.

Prova di 14 giorni Prenota una sessione di migrazioneINFRO vs Kong AI GatewayLeggi il quickstart

Fonti

Ogni affermazione su Kong AI Gateway in questa pagina proviene da una di queste fonti, lette il 19 ottobre 2026. Nulla è dedotto da una prova, un benchmark o una conversazione.