Azure API Management와 Microsoft Foundry의 AI 게이트웨이
INFRO vs Azure AI Gateway
Azure의 AI 게이트웨이는 Azure API Management에 있는 AI 기능 모음이며, Microsoft Foundry의 모델 배포에서도 켤 수 있습니다. Foundry와 Azure OpenAI, 다른 공급자의 OpenAI, Anthropic, Vertex 형태 API, 자체 호스팅 모델, MCP 서버, 에이전트 API 앞에 놓여 APIM 정책을 적용합니다. 키별 분당 토큰 제한과 토큰 할당량, 시맨틱 캐싱, Azure AI Content Safety 검사, 서킷 브레이커를 갖춘 가중치 및 우선순위 부하 분산, Azure Monitor의 토큰 메트릭이 포함됩니다. 이미 API Management를 운영하는 기업에는 플랫폼 팀이 지금 운영하는 게이트웨이를 확장하는 것이므로 이기기 어려운 선택입니다.
- 이미 Azure API Management를 운영하는 경우입니다. AI 트래픽도 나머지 API와 같은 인스턴스, 네트워킹, ID, 개발자 포털, 정책 언어를 쓰며, 이미 그것들을 소유한 팀이 운영합니다.
- Foundry를 쓰는 Azure 네이티브 기업인 경우입니다. Foundry 포털에서 게이트웨이를 켜면 공유 인스턴스에서 프로젝트마다 자체 토큰 제한과 할당량을 가지며, 모델에는 관리 ID로 접근하므로 나눠 줄 API 키가 없습니다.
- 시맨틱 캐싱이 요구 사항인 경우입니다. APIM은 Azure Managed Redis와 임베딩 배포를 사용해 의미가 비슷한 프롬프트에 캐시된 답을 반환합니다. INFRO의 응답 캐시는 채팅 완성에 대한 정확 일치만 지원합니다.
- 프로그래밍 가능한 정책 파이프라인이 필요한 경우입니다. 식을 쓰는 APIM 정책은 요청의 무엇이든 기준으로 변환, 라우팅, 제한할 수 있습니다. INFRO의 통제는 콘솔과 API에서 설정하는 고정된 기능이며 정책 언어가 아닙니다.
- 용량이 Provisioned Throughput이고 문제가 달러가 아니라 분당 토큰인 경우입니다. PTU와 종량제 배포 전반의 토큰 제한과 우선순위 부하 분산이 APIM의 AI 정책이 중심으로 삼는 것입니다.
이 섹션은 예의상 넣은 것이 아닙니다. 이 중 하나에 해당한다면 Azure AI Gateway 쪽을 선택하세요. 저희 조언으로 맞지 않는 계층을 도입한 고객은 처음부터 고객이 아니었던 경우보다 저희에게 더 나쁩니다.
두 제품이 실제로 갈라지는 지점.
- 직접 운영하는 게이트웨이인가, 이용하는 서비스인가
- Azure의 AI 게이트웨이는 API Management입니다. 구독 안의 인스턴스를 직접 고른 서비스 등급으로 두고 XML 정책으로 구성하며 플랫폼 팀이 운영합니다. Foundry는 기본으로 Basic v2 인스턴스를 만들고 프로덕션에는 Standard v2 또는 Premium v2를 권장합니다. 이미 APIM을 운영하고 인력도 있는 회사에는 맞는 형태입니다. INFRO의 요금제는 호스팅형이며 예산, 라우트, 허용 목록, 감사 로그를 콘솔이나 관리 API로 설정하고 배포할 것은 없습니다. 엔터프라이즈 계약으로 자체 인프라에 둘 수도 있습니다.
- 토큰인가, 달러인가
- APIM의 llm-token-limit 정책은 토큰을 제한합니다. 분당 속도, 시간, 일, 주, 월, 연 단위 할당량, 또는 둘 다를 구독, IP 주소, 임의의 식을 키로 적용해 429 또는 403으로 응답합니다. 토큰은 배포의 용량을 나눠 쓰는 데는 맞는 단위입니다. 그러나 한 모델의 토큰과 다른 모델의 토큰은 가격이 몇 자릿수씩 차이 나기 때문에 예산에는 맞지 않는 단위이고, 토큰으로 쓴 할당량은 팀이 모델을 바꿀 때마다 다시 써야 합니다. INFRO의 예산은 예상 공급자 비용의 달러 금액(Team 요금제부터는 협상 요율 기준)이며, 조직, 프로젝트, 멤버, 키 단위에서 공급자를 호출하기 전에 확인하고 여유가 없으면 402로 거부합니다.
- 만들어야 하는 지표가 아니라 기록으로서의 비용
- APIM은 추가한 차원과 함께 토큰 수를 Azure Monitor와 Application Insights로 내보내고, 켜면 프롬프트와 완성도 기록합니다. 이를 팀별 비용으로 바꾸려면 토큰의 가격을 직접 계산해야 합니다. INFRO는 모든 요청을 기록할 때 가격을 매기고, 어떤 요율이 적용되었는지(협상 요율, 벤더의 공개 요율, 또는 가격 미정)를 밝히며, 프로젝트, 키, 모델, 라우트, 최종 고객에 귀속시킵니다. Business 요금제에서는 그 달의 추정치를 OpenAI와 Anthropic의 비용 API와 대조하고 편차를 명시합니다.
- 양자택일이 아님
- Azure OpenAI는 INFRO가 연결하는 공급자 종류 중 하나이며, 리소스의 배포와 그 자체 키를 통해 연결합니다. 회사는 Azure 환경 앞에 APIM을 유지하면서, 그 환경과 옆의 직접 공급자 계약 전체에 걸친 예산, 귀속, 감사 기록에는 INFRO를 쓸 수 있습니다.
나란히 비교.
저희 열에도 대시가 있습니다. 한쪽이 모두 체크인 비교는 아무도 믿지 않으며, 그럴 만합니다.
| 기능 | Azure AI Gateway | INFRO |
|---|---|---|
| 여러 공급자를 아우르는 API 하나 | 예Foundry, Azure OpenAI, OpenAI, Anthropic, Vertex 형태 API | 예연결한 공급자가 제공하는 모든 것 |
| 배포하거나 운영할 것이 없음 | 아니요구독 안의 API Management 인스턴스 | 예호스팅 서비스 |
| 토큰 단위 한도 | 예분당 및 기간별, 임의의 키 기준 | 아니요대신 키별 요청 속도 제한 |
| 요청을 거부하는 달러 단위 예산 | 아니요토큰 할당량만 | 예조직, 프로젝트, 멤버, 키, 402 |
| 요청별 비용, 귀속됨 | 부분사용자 지정 차원별 토큰 메트릭 | 예프로젝트, 키, 모델, 라우트, 최종 고객 |
| 응답 캐싱 | 예시맨틱, Azure Managed Redis 사용 | 부분정확 일치, 채팅 완성만 |
| 콘텐츠 안전 | 예Azure AI Content Safety 정책 | 부분패턴과 선택형 분류기 검사, 채팅 완성, Business 요금제 |
| 부하 분산과 페일오버 | 예가중치, 우선순위, 서킷 브레이커 | 예우선순위 또는 가중치 라우트, 모든 모달리티 |
| 프로그래밍 가능한 정책 | 예APIM 정책 식 | 아니요설정하는 기능, 정책 언어 아님 |
| MCP 서버와 에이전트 API | 예MCP와 A2A | 부분MCP 게이트웨이, Business 요금제 |
| 현재 사용 가능 | 예 | 예셀프 서비스 가입 |
각 제품의 공개 문서를 2026년 10월 기준으로 저희가 읽은 내용입니다. 경쟁사의 가격은 인용하지 않습니다. 가격은 바뀌고, 다른 회사 사업에 대한 틀린 숫자는 없는 것보다 나쁘기 때문입니다. 틀린 행이 있다고 생각되면 알려 주세요. 고치겠습니다.
그 차이의 가치를 계산해 보세요
현재 모델 구성이 공급자 정가로 얼마나 드는지와 필요한 요금제를 추정하거나, 실제 사용량을 저희에게 보내 도움이 되는 곳과 그렇지 않은 곳을 확인하세요.
이미 Azure AI Gateway 사용 중이신가요? Azure OpenAI에서 옮겨 오는 마이그레이션 가이드를 읽어 보세요: 바뀌는 코드, 그대로 이어지는 것과 그렇지 않은 것.