KI-Gateway in Azure API Management und Microsoft Foundry
INFRO vs Azure AI Gateway
Das KI-Gateway von Azure ist eine Reihe von KI-Funktionen in Azure API Management, die auch aus Microsoft Foundry für dortige Modell-Deployments eingeschaltet werden. Es steht vor Foundry und Azure OpenAI, den OpenAI-, Anthropic- und Vertex-förmigen APIs anderer Anbieter, selbst gehosteten Modellen, MCP-Servern und Agent-APIs und wendet APIM-Richtlinien darauf an: Token-pro-Minute-Limits und Token-Kontingente pro Schlüssel, semantisches Caching, Azure-AI-Content-Safety-Prüfungen, gewichtetes und prioritätsbasiertes Load Balancing mit Circuit Breakern und Token-Metriken in Azure Monitor. Für ein Unternehmen, das API Management bereits betreibt, erweitert es ein Gateway, das das Plattformteam heute schon betreibt, und das ist schwer zu schlagen.
- Sie betreiben bereits Azure API Management. Ihr KI-Traffic bekommt dieselbe Instanz, dasselbe Netzwerk, dieselbe Identität, dasselbe Entwicklerportal und dieselbe Richtliniensprache wie der Rest Ihrer APIs, betrieben von dem Team, dem sie bereits gehören.
- Sie sind ein Azure-natives Unternehmen auf Foundry. Das Einschalten des Gateways im Foundry-Portal gibt jedem Projekt eigene Token-Limits und -Kontingente auf einer gemeinsamen Instanz, mit verwalteter Identität zu den Modellen und ohne API-Schlüssel, die verteilt werden müssen.
- Semantisches Caching ist die Anforderung. APIM liefert zwischengespeicherte Antworten für Prompts mit ähnlicher Bedeutung, mit Azure Managed Redis und einem Embeddings-Deployment; der Antwort-Cache von INFRO arbeitet nur mit exakter Übereinstimmung, für Chat Completions.
- Sie brauchen eine programmierbare Richtlinien-Pipeline. APIM-Richtlinien mit Ausdrücken können alles in der Anfrage transformieren, routen und begrenzen; die Kontrollen von INFRO sind feste Funktionen, die in einer Konsole und einer API konfiguriert werden, keine Richtliniensprache.
- Ihre Kapazität ist Provisioned Throughput und das Problem sind Tokens pro Minute, nicht Dollar. Token-Limits und prioritätsbasiertes Load Balancing über PTU- und Pay-as-you-go-Deployments sind das, worum die KI-Richtlinien von APIM gebaut sind.
Dieser Abschnitt ist keine Höflichkeit. Wenn einer dieser Punkte auf Sie zutrifft, wählen Sie Azure AI Gateway – ein Kunde, der auf unseren Rat hin die falsche Schicht einführt, ist schlechter für uns als einer, den wir nie hatten.
Wo die beiden sich tatsächlich unterscheiden.
- Ein Gateway, das Sie betreiben, oder ein Dienst, den Sie nutzen
- Das KI-Gateway von Azure ist API Management: eine Instanz in Ihrem Abonnement, in einer von Ihnen gewählten Dienststufe, konfiguriert mit XML-Richtlinien und betrieben von Ihrem Plattformteam – Foundry legt standardmäßig eine Basic-v2-Instanz an und empfiehlt für die Produktion Standard v2 oder Premium v2. Das ist die richtige Form für ein Unternehmen, das APIM bereits betreibt und die Leute dafür hat. Die Tarife von INFRO sind gehostet, mit Budgets, Routen, Freigabelisten und einem Audit-Log, konfiguriert in einer Konsole oder über die Management-API, und ohne etwas bereitzustellen; eine Enterprise-Vereinbarung kann es stattdessen in Ihre eigene Infrastruktur bringen.
- Tokens oder Dollar
- Die Richtlinie llm-token-limit von APIM begrenzt Tokens: eine Rate pro Minute, ein Kontingent pro Stunde, Tag, Woche, Monat oder Jahr, oder beides, bezogen auf Abonnement, IP-Adresse oder einen beliebigen Ausdruck, mit Antwort 429 oder 403. Tokens sind die richtige Einheit, um die Kapazität eines Deployments zu teilen. Für ein Budget sind sie die falsche Einheit, denn ein Token bei einem Modell und ein Token bei einem anderen unterscheiden sich im Preis um Größenordnungen, und ein in Tokens formuliertes Kontingent muss jedes Mal neu geschrieben werden, wenn ein Team das Modell wechselt. Die Budgets von INFRO sind Dollar geschätzter Anbieterkosten – ab dem Team-Tarif zu Ihren ausgehandelten Preisen – auf Organisations-, Projekt-, Mitglieds- und Schlüsselebene, geprüft, bevor der Anbieter aufgerufen wird, und mit 402 abgelehnt, wenn kein Spielraum mehr bleibt.
- Kosten als Datensatz, nicht als Metrik zum Selberbauen
- APIM gibt Token-Zählungen mit beliebigen von Ihnen ergänzten Dimensionen an Azure Monitor und Application Insights aus und protokolliert Prompts und Completions, wenn Sie das einschalten. Daraus Kosten pro Team zu machen, heißt, die Tokens selbst zu bepreisen. INFRO bepreist jede Anfrage beim Erfassen, sagt, welcher Preis galt – Ihr ausgehandelter Preis, der veröffentlichte Preis des Herstellers oder ohne Preisangabe –, und ordnet sie einem Projekt, Schlüssel, Modell, einer Route oder einem Endkunden zu. Im Business-Tarif wird die Schätzung des Monats mit den eigenen Kosten-APIs von OpenAI und Anthropic abgeglichen und die Abweichung benannt.
- Kein Entweder-oder
- Azure OpenAI ist einer der Anbietertypen, die INFRO verbindet, über die Deployments Ihrer Ressource und deren eigenen Schlüssel. Ein Unternehmen kann APIM vor seinem Azure-Bestand behalten und INFRO für die Budgets, die Zuordnung und die Audit-Spur über diesen Bestand und die direkten Anbieterverträge daneben nutzen.
Nebeneinander.
Auch unsere Spalte hat Striche. Einem Vergleich, bei dem eine Seite nur Häkchen hat, glaubt niemand, und zu Recht.
| Funktion | Azure AI Gateway | INFRO |
|---|---|---|
| Eine API über viele Anbieter | jaFoundry, Azure OpenAI, OpenAI-, Anthropic- und Vertex-förmige APIs | jawas Ihre verbundenen Anbieter bereitstellen |
| Nichts bereitzustellen oder zu betreiben | neineine API-Management-Instanz in Ihrem Abonnement | jagehosteter Dienst |
| Limits in Tokens | japro Minute und pro Zeitraum, für jeden Schlüssel | neinstattdessen Ratenlimits pro Schlüssel |
| Budgets in Dollar, die eine Anfrage ablehnen | neinnur Token-Kontingente | jaOrganisation, Projekt, Mitglied, Schlüssel; 402 |
| Kosten pro Anfrage, zugeordnet | teilweiseToken-Metriken nach benutzerdefinierter Dimension | jaProjekt, Schlüssel, Modell, Route, Endkunde |
| Antwort-Caching | jasemantisch, mit Azure Managed Redis | teilweiseexakte Übereinstimmung, nur Chat Completions |
| Content Safety | jaAzure-AI-Content-Safety-Richtlinie | teilweiseMuster plus optionale Klassifikator-Prüfungen; Chat Completions; Business-Tarif |
| Load Balancing und Failover | jagewichtet, Priorität, Circuit Breaker | jaPrioritäts- oder gewichtete Routen, jede Modalität |
| Programmierbare Richtlinien | jaAPIM-Richtlinienausdrücke | neinkonfigurierte Funktionen, keine Richtliniensprache |
| MCP-Server und Agent-APIs | jaMCP und A2A | teilweiseMCP-Gateway, Business-Tarif |
| Heute verfügbar | ja | jaSelf-Service-Anmeldung |
Unsere Lesart der öffentlichen Dokumentation jedes Produkts, Stand Oktober 2026. Wir nennen keine Preise von Wettbewerbern – sie ändern sich, und eine falsche Zahl über das Geschäft anderer ist schlimmer als keine. Halten Sie eine Zeile für falsch? Sagen Sie es uns, und wir korrigieren sie.
Rechnen Sie aus, was der Unterschied wert ist
Schätzen Sie, was Ihr aktueller Modellmix zu den Listenpreisen Ihrer Anbieter kostet und welchen Tarif er braucht, oder lassen Sie uns Ihre echte Nutzung lesen und Ihnen sagen, wo wir helfen würden und wo nicht.
Schon bei Azure AI Gateway? Lesen Sie den Migrationsleitfaden von Azure OpenAI: der Code, der sich ändert, was übernommen wird und was nicht.