AI-gateway in Azure API Management en Microsoft Foundry
INFRO vs Azure AI Gateway
De AI-gateway van Azure is een set AI-mogelijkheden in Azure API Management, ook in te schakelen vanuit Microsoft Foundry voor daar gedeployde modellen. Hij staat voor Foundry en Azure OpenAI, de OpenAI-, Anthropic- en Vertex-achtige API's van andere providers, zelf gehoste modellen, MCP-servers en agent-API's, en past APIM-policy erop toe: limieten in tokens per minuut en tokenquota per sleutel, semantische caching, Azure AI Content Safety-controles, gewogen en op prioriteit gebaseerde load balancing met circuit breakers, en tokenmetrics in Azure Monitor. Voor een enterprise dat al API Management draait, breidt het een gateway uit die het platformteam vandaag al beheert, en dat is moeilijk te verslaan.
- Je draait al Azure API Management. Je AI-verkeer krijgt dezelfde instantie, hetzelfde netwerk, dezelfde identiteit, hetzelfde developerportal en dezelfde policytaal als de rest van je API's, beheerd door het team dat ze al in handen heeft.
- Je bent een Azure-native enterprise op Foundry. De gateway inschakelen vanuit het Foundry-portal geeft elk project eigen tokenlimieten en quota op een gedeelde instantie, met managed identity naar de modellen en geen API-sleutels om uit te delen.
- Semantische caching is de eis. APIM geeft gecachete antwoorden terug voor prompts met een vergelijkbare betekenis, met Azure Managed Redis en een embeddings-deployment; de responscache van INFRO werkt alleen op exacte overeenkomst, voor chat completions.
- Je hebt een programmeerbare policypipeline nodig. APIM-policies met expressies kunnen transformeren, routeren en begrenzen op alles in het verzoek; de controles van INFRO zijn vaste functies die je instelt in een console en een API, geen policytaal.
- Je capaciteit is Provisioned Throughput en het probleem zijn tokens per minuut, niet dollars. Tokenlimieten en load balancing op prioriteit over PTU- en pay-as-you-go-deployments zijn waar de AI-policies van APIM omheen zijn gebouwd.
Deze sectie is geen beleefdheid. Als een van deze situaties op jou van toepassing is, kies dan Azure AI Gateway — een klant die op ons advies de verkeerde laag kiest, is slechter voor ons dan een klant die we nooit hadden.
Waar de twee echt uiteenlopen.
- Een gateway die je zelf beheert, of een dienst die je gebruikt
- De AI-gateway van Azure is API Management: een instantie in je abonnement, op een servicelaag die je kiest, geconfigureerd met XML-policies en beheerd door je platformteam — Foundry maakt standaard een Basic v2-instantie en raadt Standard v2 of Premium v2 aan voor productie. Dat is de juiste vorm voor een bedrijf dat al APIM draait en daar de mensen voor heeft. De plannen van INFRO zijn gehost, met budgetten, routes, allowlists en een auditlog die je instelt in een console of via de management-API, en niets om te deployen; met een enterprise-overeenkomst kan het in plaats daarvan in je eigen infrastructuur draaien.
- Tokens, of dollars
- De llm-token-limit-policy van APIM begrenst tokens: een tempo per minuut, een quotum per uur, dag, week, maand of jaar, of beide, gekoppeld aan abonnement, IP-adres of een willekeurige expressie, en antwoordt met 429 of 403. Tokens zijn de juiste eenheid om de capaciteit van een deployment te verdelen. Ze zijn de verkeerde eenheid voor een budget, omdat een token op het ene model en een token op het andere in prijs ordes van grootte verschillen, en een quotum in tokens moet worden herschreven telkens als een team van model wisselt. De budgetten van INFRO zijn dollars aan geschatte providerkosten — vanaf het Team-plan tegen je onderhandelde tarieven — op niveau van organisatie, project, lid en sleutel, gecontroleerd voordat de provider wordt aangeroepen en geweigerd met 402 als er geen ruimte is.
- Kosten als registratie, niet als metric die je zelf bouwt
- APIM stuurt tokenaantallen naar Azure Monitor en Application Insights met de dimensies die je toevoegt, en logt prompts en completions als je dat inschakelt. Daar kosten per team van maken betekent zelf de tokens prijzen. INFRO prijst elk verzoek zodra het wordt vastgelegd, geeft aan welk tarief gold — je onderhandelde tarief, het gepubliceerde tarief van de leverancier of zonder prijs — en wijst het toe aan een project, sleutel, model, route of eindgebruiker. Op het Business-plan wordt de schatting van de maand gecontroleerd tegen de eigen kosten-API's van OpenAI en Anthropic en wordt het verschil genoemd.
- Niet het een of het ander
- Azure OpenAI is een van de providertypen die INFRO koppelt, via de deployments van je resource en de eigen sleutel daarvan. Een bedrijf kan APIM voor zijn Azure-omgeving laten staan en INFRO gebruiken voor de budgetten, toewijzing en audittrail over die omgeving en de directe providercontracten ernaast.
Naast elkaar.
Ook onze kolom heeft streepjes. Een vergelijking waarin één kant alleen vinkjes heeft, gelooft niemand, en terecht.
| Functionaliteit | Azure AI Gateway | INFRO |
|---|---|---|
| Eén API voor veel providers | jaFoundry, Azure OpenAI, OpenAI-, Anthropic- en Vertex-achtige API's | jawat je gekoppelde providers bedienen |
| Niets uit te rollen of te beheren | neeeen API Management-instantie in je abonnement | jagehoste dienst |
| Limieten in tokens | japer minuut en per periode, op elke sleutel | neein plaats daarvan limieten op het verzoektempo per sleutel |
| Budgetten in dollars die een verzoek weigeren | neealleen tokenquota | jaorganisatie, project, lid, sleutel; 402 |
| Kosten per verzoek, toegewezen | gedeeltelijktokenmetrics per aangepaste dimensie | japroject, sleutel, model, route, eindgebruiker |
| Antwoordcaching | jasemantisch, met Azure Managed Redis | gedeeltelijkexacte overeenkomst, alleen chat completions |
| Contentveiligheid | jaAzure AI Content Safety-policy | gedeeltelijkpatronen plus optionele classifiercontroles; chat completions; Business-plan |
| Load balancing en failover | jagewogen, prioriteit, circuit breaker | jaroutes op prioriteit of gewicht, elke modaliteit |
| Programmeerbare policy | jaAPIM-policy-expressies | neegeconfigureerde functies, geen policytaal |
| MCP-servers en agent-API's | jaMCP en A2A | gedeeltelijkMCP-gateway, Business-plan |
| Nu beschikbaar | ja | jazelf aanmelden |
Onze lezing van de openbare documentatie van elk product per oktober 2026. We citeren geen prijzen van concurrenten — die veranderen en een verkeerd getal over andermans bedrijf is erger dan geen. Denk je dat een rij niet klopt? Laat het ons weten, dan passen we het aan.
Bereken wat het verschil waard is
Schat wat je huidige modelmix kost tegen de lijstprijzen van je providers en welk plan je nodig hebt, of laat ons je echte gebruik lezen en vertellen waar we wel en niet zouden helpen.
Gebruik je al Azure AI Gateway? Lees de migratiegids van Azure OpenAI: de code die verandert, wat meekomt en wat niet.