Pular para o conteúdo

Guias de migraçãoVindo do Kong AI Gateway

Do Kong AI Gateway, ou ao lado dele

O Kong AI Gateway coloca o tráfego de IA no mesmo gateway que o restante das suas APIs: AI Models com destinos e balanceadores, AI Policies para limites, cache e guardrails, rodando nos seus próprios data planes do Kong ou no Konnect. Se você usa o Kong para todo o resto, esse é um forte motivo para ficar. Esta página é para equipes que preferem a parte de IA como um plano de controle hospedado.

AI Gateway 2.x (2.0 em 2026-07-10, 2.2 em 2026-09-30); hospedado no Konnect ou auto-hospedado

As contas do INFRO são self-service. O catálogo, a documentação e o contrato da API são públicos, o gateway está implantado, e tudo o que vai além da v1 está marcado para depois. Planos e teste

Situação atual

Versão 2

O Kong AI Gateway tem versionamento próprio: a 2.0.0 saiu em 2026-07-10 e a 2.2.0 em 2026-09-30. A 2.x substitui os plugins AI Proxy em Services e Routes por entidades: AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

A conta de quem atende a requisição

Sua. As credenciais dos provedores são declaradas no AI Model Provider e injetadas pelo gateway; o Kong não vende inferência.

Quem opera

O Konnect hospeda o plano de controle; os data planes rodam na sua infraestrutura, em Kubernetes ou nos Dedicated Cloud Gateways do Kong. O guia do OpenAI SDK para on-prem diz que ele exige o Kong Gateway Enterprise.

O Kong é um gateway de API genérico com políticas de IA profundas. Tirar o tráfego de IA dele é um custo real, e estes são os casos em que não compensa.

  • O Kong já fica na frente das suas APIs, e sua equipe de plataforma o opera. Um gateway, um modelo de políticas, um plantão.
  • O tráfego precisa ficar nos seus próprios data planes ou dentro da sua rede. Os planos do INFRO são hospedados; auto-hospedado ou híbrido é um contrato enterprise.
  • Você usa cache semântico, o balanceador semântico ou de menor latência, templates de prompt ou o compressor de prompts. O INFRO tem cache por correspondência exata, rotas por prioridade e ponderadas, e nenhuma ferramenta de prompts.
  • Você depende de AWS Guardrails, Azure Content Safety ou GCP Model Armor por meio de políticas do Kong, ou de tráfego A2A. O INFRO tem os próprios guardrails e não tem A2A.
  • Você faz proxy de files, batches ou assistants, ou de embeddings em provedores que não sejam OpenAI, Azure OpenAI, Mistral ou um endpoint compatível com OpenAI. O INFRO não os serve.

As alterações, uma linha cada. Tudo o que não está listado aqui continua como está.

 Kong AI GatewayINFRO
URL baseSeu proxy do Kong ou $KONNECT_PROXY_URL mais o caminho da rota do AI Model.https://api.infro.io/v1
ChaveUma chave de consumer do Kong em apikey (key-auth) ou um bearer token OIDC.Uma chave do gateway do INFRO em Authorization: Bearer. As credenciais dos provedores saem dos AI Model Providers para conexões do INFRO.
Id do modeloO nome do modelo upstream (gpt-4o) ou um alias definido por config.route.model.vendor/model, ou uma rota cujo nome é seu alias antigo, para que quem chama continue enviando-o.
HeadersLidos das respostas: X-Cache-Status, X-AI-RateLimit-*.X-INFRO-Cache e X-RateLimit-Limit nas respostas; os orçamentos respondem 402 no corpo.

Antes · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

Depois · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

Aliases viram rotas

Cada alias de AI Model vira uma rota com o mesmo nome e os mesmos destinos na mesma ordem. Uma chave do gateway pode ser fixada em rotas nomeadas para que não consiga chamar um modelo diretamente, assim como um consumer do Kong fica restrito às suas rotas.

Consumer groups viram projetos

Limites de tokens ou de custo por consumer e por grupo viram limites de gastos por chave e orçamentos de projeto. Os tiers de taxa de requisições por chave são informados em X-RateLimit-Limit.

Rode os dois enquanto migra

Nada impede que o Kong e o INFRO rodem lado a lado. O INFRO também pode ser um upstream do Kong, já que responde no formato da OpenAI.

Os objetos do Kong AI Gateway comparados aos do INFRO, a partir da documentação pública do Kong AI Gateway lida em 19 de outubro de 2026 e conferidos com o que o gateway implementa. Duas linhas dizem que o INFRO não tem nada.

Kong AI GatewayO que faz láNo INFRO
AI Model Providermesmo formatoDefinição de provedor reutilizável que guarda as credenciais.Uma conexão de provedor, selada, várias chaves por provedor com as chaves reserva por último.
AI Model e destinosmesmo formatoUm modelo virtual com destinos e um balanceador de carga.Uma rota com destinos ordenados ou ponderados, regras condicionais sobre a requisição e regras de falha por tipo.
Algoritmos de balanceamentodiferenteRound-robin, hashing consistente, menos conexões, menor latência, menor uso, semântico, prioridade.Apenas por prioridade e ponderado, além de um classificador de prompts que escolhe uma classe de destinos. Sem balanceamento por latência, uso ou semântica.
Retentativas, critérios de failover, circuit breakerdiferenteRetentativas, failover_criteria, max_fails e fail_timeout.Regras de falha por tipo (repetir, fazer failover ou parar) para 429, 5xx, timeout, conexão, credencial e moderação. Sem configuração de circuit breaker.
AI Auth Strategy e consumersdiferenteIdentidades key-auth ou OIDC, agrupadas para políticas.Chaves do gateway por serviço, com listas de permissões, faixas de IP e ambientes. Os membros entram com SSO; as chamadas ao gateway usam chaves.
AI Rate Limiting AdvanceddiferenteLimites de tokens ou de custo por consumer, grupo, modelo, provedor, header ou caminho.Orçamentos que recusam em um teto em dólares por organização, projeto, membro, chave e cliente final; tiers de taxa de requisições por chave. Sem janelas por contagem de tokens.
AI Semantic CachediferenteCache semântico e exato em Redis, Valkey ou pgvector.Apenas correspondência exata, opcional, para chat completions.
Prompt Guard, Sanitizer, Semantic guardsdiferenteRegras de prompt por padrão e semânticas, remoção de PII, proteções de resposta.Guardrails que bloqueiam, ocultam ou sinalizam por padrão, além de verificações executadas em um modelo de decisão. Sem proteção por similaridade semântica.
Integrações com guardrails de nuvemnadaAWS Guardrails, Azure Content Safety e GCP Model Armor.Nada.
Prompt Template, Prompt CompressornadaPrompts com templates e compressão de prompts no gateway.Nada. Os prompts ficam no seu código.
AI MCP Servermesmo formatoTráfego MCP no mesmo gateway.Um gateway MCP para seus próprios servidores MCP, com ferramentas aprovadas e permissões por chave.
AnálisediferenteUso de tokens, latência e custo no analytics do Konnect.Custo estimado do provedor por requisição, reconciliado diariamente com as próprias APIs de custo da OpenAI e da Anthropic quando você adiciona uma chave de administrador.
Data planes auto-hospedadosdiferenteRodar na sua própria infraestrutura.Hospedado. Auto-hospedado ou híbrido é um contrato enterprise.Enterprise — Disponível em um contrato enterprise, não em self-service.

Nossa leitura da documentação publicada do Kong AI Gateway, não um teste nem um benchmark. Se lemos algo errado, avise-nos e corrigimos a linha.

O que o INFRO não faz

  • Passar pelo gateway suas APIs que não são de IA.
  • Cache semântico ou balanceamento semântico, por latência ou por uso.
  • Templates ou compressão de prompts.
  • Integrar serviços de guardrails de nuvem ou transportar tráfego A2A.
  • Fazer proxy de files, batches ou assistants, ou de embeddings em provedores que não sejam OpenAI, Azure OpenAI, Mistral ou um endpoint compatível com OpenAI.
  • Rodar nos seus próprios data planes sem um contrato enterprise.

O que não é levado

  • Analytics e logs do Konnect. Não há importador.
  • Políticas como configuração (decK). Recrie-as como rotas, orçamentos, listas de permissões e guardrails; a API de gerenciamento do INFRO pode criá-las a partir de um script.

Perguntas

O INFRO e o Kong podem rodar juntos?
Sim. O INFRO responde no formato da OpenAI, então pode ser um upstream do Kong, ou os serviços podem passar do Kong para o INFRO um por vez.
Posso manter meus aliases de modelos?
Sim. Crie uma rota no INFRO com o alias como nome; quem chama continua enviando o mesmo model.
Quem paga pelo uso de modelos?
Você paga, diretamente aos seus provedores, como faz com o Kong. O INFRO é uma assinatura com 0% de margem sobre o gasto com modelos.

Migre conosco ou por conta própria

O programa de migração mapeia, numa chamada, a sua configuração do Kong AI Gateway para conexões, rotas e orçamentos do INFRO e migra o primeiro serviço com você. Seus provedores continuam cobrando você diretamente; o INFRO é uma assinatura e acrescenta 0% ao gasto com modelos.

Teste de 14 dias Agende uma sessão de migraçãoINFRO vs Kong AI GatewayLer o guia de início rápido

Fontes

Cada afirmação desta página sobre o Kong AI Gateway vem de uma destas fontes, lidas em 19 de outubro de 2026. Nada é inferido de um teste, de um benchmark ou de uma conversa.