Aller au contenu

Guides de migrationDepuis Kong AI Gateway

Depuis Kong AI Gateway, ou à côté

Kong AI Gateway place le trafic IA sur la même passerelle que le reste de vos API : AI Models avec cibles et répartiteurs, AI Policies pour les limites, le cache et les garde-fous, exécutés sur vos propres data planes Kong ou sur Konnect. Si vous utilisez Kong pour tout le reste, c'est une bonne raison de rester. Cette page s'adresse aux équipes qui veulent plutôt la partie IA sous forme de plan de contrôle hébergé.

AI Gateway 2.x (2.0 le 2026-07-10, 2.2 le 2026-09-30) ; hébergé sur Konnect ou auto-hébergé

Les comptes INFRO sont en libre-service. Le catalogue, la documentation et le contrat d'API sont publics, la passerelle est déployée, et tout ce qui va au-delà de la v1 est marqué Plus tard. Offres et essai

Où en sont les choses

Version 2

Kong AI Gateway a son propre versionnage : la 2.0.0 est sortie le 2026-07-10 et la 2.2.0 le 2026-09-30. La 2.x remplace les plugins AI Proxy sur les Services et les Routes par des entités : AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

Le compte de qui sert la requête

Les vôtres. Les identifiants fournisseur sont déclarés sur l'AI Model Provider et injectés par la passerelle ; Kong ne vend pas d'inférence.

Qui l'exploite

Konnect héberge le plan de contrôle ; les data planes tournent sur votre infrastructure, Kubernetes ou les Dedicated Cloud Gateways de Kong. Le guide SDK OpenAI pour une installation sur site indique qu'il nécessite Kong Gateway Enterprise.

Kong est une passerelle d'API généraliste avec des politiques IA poussées. En sortir le trafic IA a un vrai coût, et voici les cas où cela ne vaut pas la peine.

  • Kong est déjà devant vos API, et votre équipe plateforme l'exploite. Une passerelle, un modèle de politiques, une astreinte.
  • Le trafic doit rester sur vos propres data planes ou dans votre réseau. Les offres d'INFRO sont hébergées ; l'auto-hébergé ou l'hybride relève d'un contrat entreprise.
  • Vous utilisez le cache sémantique, la répartition sémantique ou à latence minimale, les templates de prompts ou le compresseur de prompts. INFRO a un cache à correspondance exacte, des routes par priorité et pondérées, et aucun outillage de prompts.
  • Vous dépendez d'AWS Guardrails, d'Azure Content Safety ou de GCP Model Armor via des politiques Kong, ou de trafic A2A. INFRO a ses propres garde-fous et pas d'A2A.
  • Vous faites transiter des files, des batchs ou des assistants, ou des embeddings chez d'autres fournisseurs qu'OpenAI, Azure OpenAI, Mistral ou un endpoint compatible OpenAI. INFRO ne les sert pas.

Les modifications, une ligne chacune. Tout ce qui n'est pas listé ici reste tel quel.

 Kong AI GatewayINFRO
URL de baseVotre proxy Kong ou $KONNECT_PROXY_URL plus le chemin de route de l'AI Model.https://api.infro.io/v1
CléUne clé de consumer Kong dans apikey (key-auth) ou un jeton bearer OIDC.Une clé de passerelle INFRO dans Authorization: Bearer. Les identifiants fournisseur passent des AI Model Providers aux connexions INFRO.
ID du modèleLe nom du modèle amont (gpt-4o) ou un alias défini par config.route.model.vendor/model, ou une route portant le nom de votre ancien alias, pour que les appelants continuent de l'envoyer.
En-têtesLus dans les réponses : X-Cache-Status, X-AI-RateLimit-*.X-INFRO-Cache et X-RateLimit-Limit sur les réponses ; les budgets répondent 402 dans le corps.

Avant · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

Après · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

Les alias deviennent des routes

Chaque alias AI Model devient une route du même nom, avec les mêmes cibles dans le même ordre. Une clé de passerelle peut être épinglée à des routes nommées pour qu'elle ne puisse pas appeler un modèle directement, comme un consumer Kong est limité à ses routes.

Les consumer groups deviennent des projets

Les limites en tokens ou en coûts par consumer et par groupe deviennent des limites de dépenses par clé et des budgets de projet. Les paliers de débit de requêtes par clé sont indiqués dans X-RateLimit-Limit.

Faites tourner les deux pendant la migration

Rien n'empêche Kong et INFRO de fonctionner côte à côte. INFRO peut aussi être un service amont de Kong, puisqu'il répond au format OpenAI.

Les objets de Kong AI Gateway face à ceux de INFRO, d'après la documentation publique de Kong AI Gateway lue le 19 octobre 2026 et vérifiés par rapport à ce que la passerelle implémente. Deux lignes indiquent que INFRO n'a rien.

Kong AI GatewayCe que cela y faitDans INFRO
AI Model Providermême formeDéfinition de fournisseur réutilisable contenant les identifiants.Une connexion fournisseur, scellée, plusieurs clés par fournisseur avec les clés de secours en dernier.
AI Model et ciblesmême formeUn modèle virtuel avec des cibles et un répartiteur de charge.Une route avec des cibles ordonnées ou pondérées, des règles conditionnelles sur la requête et des règles d'échec par type.
Algorithmes de répartitiondifférentRound-robin, hachage cohérent, moins de connexions, latence la plus faible, usage le plus faible, sémantique, priorité.Priorité et pondération uniquement, plus un classificateur de prompts qui choisit une classe de cibles. Pas de répartition par latence, par usage ou sémantique.
Relances, critères de basculement, disjoncteurdifférentRelances, failover_criteria, max_fails et fail_timeout.Règles d'échec par type (relancer, basculer ou arrêter) pour 429, 5xx, timeout, connexion, identifiant et modération. Pas de réglage de disjoncteur.
AI Auth Strategy et consumersdifférentIdentités key-auth ou OIDC, regroupées pour les politiques.Des clés de passerelle par service, avec listes d'autorisation, plages IP et environnements. Les membres se connectent en SSO ; les appels à la passerelle utilisent des clés.
AI Rate Limiting AdvanceddifférentLimites en tokens ou en coûts par consumer, groupe, modèle, fournisseur, en-tête ou chemin.Des budgets qui refusent à un plafond en dollars par organisation, projet, membre, clé et client final ; des paliers de débit de requêtes par clé. Pas de fenêtres de comptage de tokens.
AI Semantic CachedifférentCache sémantique et exact dans Redis, Valkey ou pgvector.Correspondance exacte uniquement, facultatif, pour chat completions.
Prompt Guard, Sanitizer, Semantic guardsdifférentRègles de prompts par motifs et sémantiques, nettoyage des PII, gardes sur les réponses.Des garde-fous qui bloquent, masquent ou signalent selon des motifs, plus des vérifications exécutées sur un modèle de décision. Pas de garde-fou par similarité sémantique.
Intégrations de garde-fous cloudrienAWS Guardrails, Azure Content Safety et GCP Model Armor.Rien.
Prompt Template, Prompt CompressorrienPrompts à templates et compression de prompts dans la passerelle.Rien. Les prompts restent dans votre code.
AI MCP Servermême formeLe trafic MCP sur la même passerelle.Une passerelle MCP pour vos propres serveurs MCP, avec des outils approuvés et des autorisations par clé.
AnalysedifférentUsage en tokens, latence et coût dans les analyses Konnect.Coût fournisseur estimé par requête, rapproché chaque jour des API de coûts d'OpenAI et d'Anthropic lorsque vous ajoutez une clé admin.
Data planes auto-hébergésdifférentS'exécuter sur votre propre infrastructure.Hébergé. L'auto-hébergé ou l'hybride relève d'un contrat entreprise.Enterprise — Disponible dans le cadre d'un contrat Enterprise plutôt qu'en libre-service.

Notre lecture de la documentation publiée par Kong AI Gateway, pas un essai ni un benchmark. Si nous avons mal lu quelque chose, dites-le-nous et nous corrigerons la ligne.

Ce que INFRO ne fait pas

  • Servir de passerelle à vos API non IA.
  • Cache sémantique, ou répartition sémantique, par latence ou par usage.
  • Templates ou compression de prompts.
  • Intégrer des services de garde-fous cloud, ou transporter du trafic A2A.
  • Faire transiter files, batchs ou assistants, ou les embeddings chez d'autres fournisseurs qu'OpenAI, Azure OpenAI, Mistral ou un endpoint compatible OpenAI.
  • S'exécuter sur vos propres data planes sans contrat entreprise.

Ce qui n'est pas repris

  • Les analyses et journaux Konnect. Il n'y a pas d'outil d'import.
  • Politiques sous forme de configuration (decK). Recréez-les sous forme de routes, budgets, listes d'autorisation et garde-fous ; l'API de gestion d'INFRO peut les créer depuis un script.

Questions

INFRO et Kong peuvent-ils fonctionner ensemble ?
Oui. INFRO répond au format OpenAI : il peut donc être un service amont de Kong, ou les services peuvent passer de Kong à INFRO un par un.
Puis-je garder mes alias de modèles ?
Oui. Créez une route INFRO portant l'alias comme nom ; les appelants continuent d'envoyer le même model.
Qui paie l'usage des modèles ?
Vous, directement à vos fournisseurs, comme avec Kong. INFRO est un abonnement avec 0 % de majoration sur les dépenses de modèles.

Migrez avec nous, ou seul

Le programme de migration transpose votre configuration Kong AI Gateway en connexions, routes et budgets INFRO lors d'un appel, et migre le premier service avec vous. Vos fournisseurs continuent de vous facturer directement ; INFRO est un abonnement et ajoute 0 % aux dépenses de modèles.

Essai de 14 jours Réserver une session de migrationINFRO vs Kong AI GatewayLire le démarrage rapide

Sources

Chaque affirmation de cette page sur Kong AI Gateway provient de l'une de ces sources, lues le 19 octobre 2026. Rien n'est déduit d'un essai, d'un benchmark ou d'une conversation.