본문으로 건너뛰기

마이그레이션 가이드Kong AI Gateway에서

Kong AI Gateway에서, 또는 함께

Kong AI Gateway는 AI 트래픽을 나머지 API와 같은 게이트웨이에 둡니다. 대상과 밸런서를 갖춘 AI Model, 한도·캐싱·가드레일을 위한 AI Policy를 고객 자체 Kong 데이터 플레인이나 Konnect에서 실행합니다. 다른 모든 것에 Kong을 쓰고 있다면 그대로 둘 강력한 이유가 됩니다. 이 페이지는 AI 부분을 호스팅형 컨트롤 플레인으로 원하는 팀을 위한 것입니다.

AI Gateway 2.x(2026-07-10에 2.0, 2026-09-30에 2.2). Konnect 호스팅 또는 자체 호스팅

INFRO 계정은 셀프 서비스입니다. 카탈로그, 문서, API 계약은 공개되어 있고, 게이트웨이는 배포되어 있으며, v1 이후의 기능은 Later로 표시됩니다. 요금제와 체험

현재 상황

버전 2

Kong AI Gateway는 자체 버전 체계를 가집니다. 2.0.0은 2026-07-10에, 2.2.0은 2026-09-30에 출시되었습니다. 2.x는 Service와 Route의 AI Proxy 플러그인을 엔티티로 대체합니다: AI Model, AI Model Provider, AI Policy, AI Auth Strategy, AI Consumer Group, AI MCP Server.

요청을 처리하는 계정

고객의 것입니다. 공급자 자격 증명은 AI Model Provider에 선언되고 게이트웨이가 주입합니다. Kong은 추론을 판매하지 않습니다.

운영 주체

Konnect가 컨트롤 플레인을 호스팅하고, 데이터 플레인은 고객의 인프라, Kubernetes 또는 Kong의 Dedicated Cloud Gateways에서 실행됩니다. 온프레미스용 OpenAI SDK 안내에 따르면 Kong Gateway Enterprise가 필요합니다.

Kong은 깊이 있는 AI 정책을 갖춘 범용 API 게이트웨이입니다. AI 트래픽을 옮기는 데는 실제 비용이 들며, 다음은 그 비용이 회수되지 않는 경우입니다.

  • Kong이 이미 API 앞단을 맡고 있고 플랫폼 팀이 운영합니다. 게이트웨이 하나, 정책 모델 하나, 온콜 하나.
  • 트래픽이 자체 데이터 플레인이나 고객의 네트워크 안에 머물러야 합니다. INFRO 요금제는 호스팅형이며, 자체 호스팅 또는 하이브리드는 엔터프라이즈 계약입니다.
  • 시맨틱 캐싱, 시맨틱 또는 최저 지연 시간 밸런서, 프롬프트 템플릿, 프롬프트 압축기를 사용합니다. INFRO에는 정확 일치 캐싱, 우선순위 및 가중치 라우트가 있고, 프롬프트 도구는 없습니다.
  • Kong 정책을 통한 AWS Guardrails, Azure Content Safety, GCP Model Armor나 A2A 트래픽에 의존합니다. INFRO에는 자체 가드레일이 있고 A2A는 없습니다.
  • 파일, 배치, 어시스턴트를 프록시하거나, OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트 외 공급자의 임베딩을 프록시합니다. INFRO는 이를 제공하지 않습니다.

수정 사항을 한 행에 하나씩 정리했습니다. 여기에 없는 것은 그대로 유지됩니다.

 Kong AI GatewayINFRO
베이스 URLKong 프록시 또는 $KONNECT_PROXY_URL에 AI Model의 라우트 경로를 더한 것.https://api.infro.io/v1
키apikey의 Kong 컨슈머 키(key-auth) 또는 OIDC 베어러 토큰.Authorization: Bearer의 INFRO 게이트웨이 키. 공급자 자격 증명은 AI Model Provider에서 INFRO 연결로 옮겨집니다.
모델 ID업스트림 모델 이름(gpt-4o) 또는 config.route.model로 설정한 별칭.vendor/model, 또는 이전 별칭을 이름으로 하는 라우트. 호출자는 그 이름을 계속 보냅니다.
헤더응답에서 읽기: X-Cache-Status, X-AI-RateLimit-*.응답의 X-INFRO-Cache와 X-RateLimit-Limit. 예산은 본문에 402로 응답합니다.

이전 · Kong AI Gateway

from openai import OpenAI

kong_url = "https://kong.internal.example.com"
kong_route = "ai"

client = OpenAI(
    api_key="my-consumer-key",
    base_url=f"{kong_url}/{kong_route}",
)

client.chat.completions.create(
    model="my-gpt",  # alias on the AI Model
    messages=[{"role": "user", "content": "Hello"}],
)

이후 · INFRO

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["INFRO_API_KEY"],
    base_url="https://api.infro.io/v1",
)

client.chat.completions.create(
    model="my-gpt",  # an INFRO route with the same name
    messages=[{"role": "user", "content": "Hello"}],
)

별칭은 라우트가 됩니다

각 AI Model 별칭은 같은 이름과 같은 순서의 대상을 가진 라우트가 됩니다. Kong 컨슈머가 자기 라우트로 제한되듯, 게이트웨이 키를 이름 있는 라우트에 고정하면 모델을 직접 호출할 수 없습니다.

컨슈머 그룹은 프로젝트가 됩니다

컨슈머별·그룹별 토큰 또는 비용 한도는 키 지출 한도와 프로젝트 예산이 됩니다. 키별 요청 속도 등급은 X-RateLimit-Limit으로 보고됩니다.

옮기는 동안 둘 다 운영

Kong과 INFRO를 나란히 운영하는 데 제약은 없습니다. INFRO는 OpenAI 형식으로 응답하므로 Kong의 업스트림이 될 수도 있습니다.

Kong AI Gateway의 공개 문서(2026년 10월 19일에 읽음)를 바탕으로 Kong AI Gateway의 객체를 INFRO의 객체와 대조하고, 게이트웨이가 구현한 내용과 비교해 확인했습니다. INFRO에 없다고 표시된 행이 2개입니다.

Kong AI Gateway그곳에서 하는 일INFRO에서
AI Model Provider같은 구조자격 증명을 담은 재사용 가능한 공급자 정의.봉인된 공급자 연결. 공급자마다 여러 키, 대기 키는 마지막 순서.
AI Model과 대상같은 구조대상과 로드 밸런서를 갖춘 가상 모델.순서 또는 가중치 대상, 요청에 대한 if 규칙, 유형별 실패 규칙을 갖춘 라우트.
밸런서 알고리즘다름라운드 로빈, 일관 해싱, 최소 연결, 최저 지연 시간, 최저 사용량, 시맨틱, 우선순위.우선순위와 가중치만, 그리고 대상 클래스를 고르는 프롬프트 분류기. 지연 시간, 사용량, 시맨틱 기반 밸런싱은 없습니다.
재시도, 페일오버 조건, 서킷 브레이커다름재시도, failover_criteria, max_fails, fail_timeout.429, 5xx, 타임아웃, 연결, 자격 증명, 모더레이션에 대한 유형별 실패 규칙(재시도, 페일오버, 중지). 서킷 브레이커 설정은 없습니다.
AI Auth Strategy와 컨슈머다름정책용으로 그룹화한 key-auth 또는 OIDC ID.서비스별 게이트웨이 키. 허용 목록, IP 범위, 환경 지정. 멤버는 SSO로 로그인하고 게이트웨이 호출은 키를 사용합니다.
AI Rate Limiting Advanced다름컨슈머, 그룹, 모델, 공급자, 헤더, 경로별 토큰 또는 비용 한도.조직, 프로젝트, 멤버, 키, 최종 고객별 달러 상한에서 거부하는 예산. 키별 요청 속도 등급. 토큰 수 기반 윈도우는 없습니다.
AI Semantic Cache다름Redis, Valkey, pgvector의 시맨틱 및 정확 일치 캐싱.chat completions용, 선택형, 정확 일치만.
Prompt Guard, Sanitizer, Semantic guards다름패턴 및 시맨틱 프롬프트 규칙, PII 정제, 응답 가드.패턴으로 차단, 마스킹, 표시하는 가드레일과 의사결정 모델에서 실행하는 검사. 의미 유사도 가드는 없습니다.
클라우드 가드레일 통합해당 없음AWS Guardrails, Azure Content Safety, GCP Model Armor 연동.없음.
Prompt Template, Prompt Compressor해당 없음게이트웨이 내 프롬프트 템플릿과 프롬프트 압축.없음. 프롬프트는 고객의 코드에 남습니다.
AI MCP Server같은 구조같은 게이트웨이의 MCP 트래픽.자체 MCP 서버를 위한 MCP 게이트웨이. 승인된 도구와 키별 권한 부여.
분석다름Konnect 분석의 토큰 사용량, 지연 시간, 비용.요청당 예상 공급자 비용. 관리자 키를 추가하면 OpenAI와 Anthropic 자체 비용 API와 매일 대사합니다.
자체 호스팅 데이터 플레인다름자체 인프라에서 실행.호스팅형. 자체 호스팅 또는 하이브리드는 엔터프라이즈 계약입니다.Enterprise — 셀프 서비스가 아닌 엔터프라이즈 계약으로 제공됩니다.

체험이나 벤치마크가 아니라 Kong AI Gateway의 공개 문서를 저희가 읽은 결과입니다. 잘못 읽은 부분이 있으면 알려 주세요. 해당 행을 수정하겠습니다.

INFRO가 하지 않는 것

  • AI 외 API의 게이트웨이 처리.
  • 시맨틱 캐싱, 또는 시맨틱·지연 시간·사용량 기반 밸런싱.
  • 프롬프트 템플릿이나 압축.
  • 클라우드 가드레일 서비스 통합 또는 A2A 트래픽 처리.
  • 파일, 배치, 어시스턴트 프록시, 또는 OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트 외 공급자의 임베딩.
  • 엔터프라이즈 계약 없이 자체 데이터 플레인에서 실행.

이어지지 않는 것

  • Konnect 분석과 로그. 가져오기 도구는 없습니다.
  • 구성으로 관리하는 정책(decK). 라우트, 예산, 허용 목록, 가드레일로 다시 만드세요. INFRO 관리 API로 스크립트에서 생성할 수 있습니다.

질문

INFRO와 Kong을 함께 운영할 수 있나요?
네. INFRO는 OpenAI 형식으로 응답하므로 Kong의 업스트림이 될 수 있고, 서비스를 Kong에서 INFRO로 하나씩 옮길 수도 있습니다.
모델 별칭을 유지할 수 있나요?
네. 별칭을 이름으로 하는 INFRO 라우트를 만들면, 호출자는 같은 model을 계속 보냅니다.
모델 사용료는 누가 내나요?
Kong에서와 마찬가지로 고객이 공급자에게 직접 냅니다. INFRO는 모델 지출에 0% 가산인 구독입니다.

저희와 함께, 또는 직접 옮기세요

마이그레이션 프로그램에서는 통화로 Kong AI Gateway 설정을 INFRO 연결, 라우트, 예산에 매핑하고 첫 서비스를 함께 옮깁니다. 공급자는 계속 고객에게 직접 청구하며, INFRO는 구독이고 모델 지출에 0%를 더합니다.

14일 체험 시작 마이그레이션 세션 예약INFRO vs Kong AI Gateway빠른 시작 읽기

출처

이 페이지에서 Kong AI Gateway에 관한 모든 서술은 2026년 10월 19일에 읽은 다음 자료 중 하나에서 나왔습니다. 체험, 벤치마크, 대화에서 추론한 것은 없습니다.