AI-gateways vergeleken.

Een dienst tussen je applicatie en de AI-modelproviders die die aanroept. Je code stuurt verzoeken naar één endpoint, en de gateway kiest de provider, probeert opnieuw of schakelt over als er een uitvalt, legt vast wat elk verzoek deed en wat het kostte, en dwingt het beleid af dat je instelt — budgetten, toegestane modellen, rate limits. Producten verschillen vooral in wie het provideraccount heeft, of beleid vóór de call wordt afgedwongen of erna wordt gerapporteerd, en of jij de gateway draait of de leverancier.

Dat hangt af van het product, en het is het eerste wat je moet nagaan. Sommige platformen kopen de inference voor je in vanuit een saldo dat je bij hen aanvult; andere routeren op je eigen providersleutels, soms met een vergoeding op dat gebruik; sommige bieden beide. INFRO doet alleen het tweede en neemt daar niets op: je providers factureren jou rechtstreeks tegen je eigen tarieven, en INFRO rekent een abonnement. De kolom Kosteneigendom in de tabel hierboven is onze lezing van de documentatie van elk product.

Je hebt iets in het verzoekpad nodig, want een limiet kan alleen een verzoek weigeren dat hij ziet voordat de provider het ziet. Verschillende gateways doen dit — INFRO controleert budgetten per organisatie, project, lid en sleutel vóór de call; OpenRouter, Cloudflare AI Gateway en LiteLLM documenteren hun eigen budgetten of uitgavenlimieten. Observability-tools zoals Langfuse leggen kosten na de call vast en kunnen erop alarmeren, wat nuttig is, maar ze houden het verzoek niet tegen.

Bijna elk product op deze pagina schat de kosten per verzoek. De vragen die ze onderscheiden: welk tarief de schatting gebruikt (de lijstprijs van de leverancier of het tarief uit je contract), wat er gebeurt als een model geen bekende prijs heeft, en of het cijfer ooit wordt vergeleken met de eigen rekening van de provider. INFRO gebruikt vanaf het Team-plan je onderhandelde prijzen, markeert een verzoek als zonder prijs in plaats van te gokken, en vergelijkt op het Business-plan de schatting van de maand met de kosten-API's van OpenAI en Anthropic.

Niet altijd. Als routering en providertoegang geregeld zijn en niemand budgetten nodig heeft die een verzoek weigeren, is een observability- en evaluatietool zoals Langfuse misschien alles wat je nodig hebt. Heb je routering, failover en afgedwongen budgetten nodig, dan heb je een gateway nodig; en teams die ook diepgaande evaluatie en promptbeheer willen, draaien vaak beide, waarbij de gateway traces exporteert naar de observability-tool.

Gebaseerd op de openbare documentatie van elk product, gelezen op de datum die op elke pagina staat — niet op een proefperiode of benchmark. Elke pagina zegt duidelijk wanneer het andere product de betere keuze is, geen enkele noemt de prijs van een concurrent, en waar de documentatie dubbelzinnig is, wordt de beoordeling afgezwakt in plaats van beargumenteerd. Denk je dat een rij niet klopt, laat het ons weten en we passen hem aan.