Open-source LLM-gateway die je zelf host

INFRO vs LiteLLM

LiteLLM is een van de meest gebruikte open-source LLM-gateways: een Python-SDK en een zelf gehoste, OpenAI-compatibele proxy die meer dan 100 providers bereikt, met virtuele sleutels, budgetten per sleutel, gebruiker, team en eindgebruiker, load balancing en fallbacks, uitgavenregistratie, caching, guardrail-integraties en logging-callbacks. De kern heeft een MIT-licentie; organisaties, auditlogs en enkele beheercontroles vallen onder een commerciële enterprise-licentie. Als je de gateway zelf wilt draaien, is het de standaardkeuze en die status heeft het verdiend.

Door INFRO Editorial

Laatst gecontroleerd op October 24, 2026

Wanneer LiteLLM de betere keuze is

Je wilt de gateway op je eigen voorwaarden in je eigen infrastructuur draaien, zonder leveranciersovereenkomst. LiteLLM is gebouwd om door iedereen zelf gehost te worden; de zelf gehoste en hybride deployments van INFRO komen alleen met een enterprise-overeenkomst.
Je wilt open-sourcecode die je kunt lezen, patchen en forken, zonder abonnement voor de kern.
Je hebt een provider nodig die INFRO niet koppelt. Hun catalogus van meer dan 100 providers is veel breder dan onze lijst met providertypen.
Promptbeheer, semantische caching of een specifieke guardrail-leverancier (Presidio, Lakera, Bedrock Guardrails en andere) is onderdeel van de eis. INFRO heeft geen promptbeheer, en zijn guardrails zijn patroongebaseerde controles voor PII, geheimen en je eigen termen op chat completions, plus classifiercontroles die alleen prompts lezen op je eigen verbinding met een beslismodel, op het Business-plan.
Je roept modellen aan vanuit Python en wilt de routering in-process, als bibliotheek, zonder gatewayhop.

Deze sectie is geen beleefdheid. Als een van deze situaties op jou van toepassing is, kies dan LiteLLM — een klant die op ons advies de verkeerde laag kiest, is slechter voor ons dan een klant die we nooit hadden.

Waar de twee echt uiteenlopen.

Software die je zelf draait, of een dienst die je gebruikt: De LiteLLM-proxy moet je zelf beheren. Virtuele sleutels en uitgavenregistratie vragen een Postgres-database; voorbij één instantie hebben gedeelde limieten en routerstatus Redis nodig, anders handhaaft elke instantie zijn limieten alleen voor zichzelf. Upgrades, schalen, back-ups en bereikbaarheid buiten kantoortijden horen bij het adopteren ervan — wat past bij een platformteam dat dit soort diensten al draait, en echt werk is voor een team dat dat niet doet. De plannen van INFRO zijn gehost: er valt niets te deployen. De afweging is het spiegelbeeld: je verzoeken lopen via onze dienst in plaats van de jouwe. Met een enterprise-overeenkomst kan INFRO in plaats daarvan in je eigen infrastructuur draaien; zonder zo'n overeenkomst is dat precies het geval waarin LiteLLM de betere keuze is.
Waar de organisatiecontroles zitten: In LiteLLM zijn organisaties en hun beheerdersrollen, auditlogs en single sign-on voorbij vijf gebruikers functies van de enterprise-licentie. In INFRO zitten projecten, omgevingen, vijf rollen, modelallowlists op niveau van organisatie, project en sleutel, budgetten en een auditlog van wie welke policy wijzigde in elk plan, ook het instapplan. SAML/OIDC-SSO en SCIM komen met het Business-plan; ze zijn nieuw en hebben in productie nog niet tegen de identity provider van een klant gedraaid, dus we zetten de eerste verbinding samen met je op.
Geschatte kosten, en daarna het eigen cijfer van de provider: Beide producten schatten de kosten van elk verzoek uit een prijstabel en beide accepteren je eigen tarieven. LiteLLM documenteert een controle van zijn uitgaven tegen de Costs API van OpenAI als iets voor een komende release. Op het Business-plan controleert INFRO de schatting van de maand tegen de eigen kosten-API's van OpenAI en Anthropic en noemt het het verschil, in plaats van aan te nemen dat er geen is.
Niet het een of het ander: Een LiteLLM-proxy die je al draait spreekt de OpenAI API en kan dus als OpenAI-compatibel endpoint aan INFRO worden gekoppeld: houd hem voor de providers die alleen hij bereikt, en zet de budgetten, toewijzing en audittrail van INFRO voor de hele omgeving.

Wat de gateway kost bij $2K, $20K en $60K per maand.

LiteLLM rekent niets voor zijn MIT-gelicentieerde gateway; wat het je kost zijn de servers, de Postgres-database en de mensen die het draaiende houden, en dat kan geen tabel voor je berekenen. INFRO is een vast plan op basis van verzoekvolume.

Maandelijkse modeluitgaven	$2,000	$20,000	$60,000
LiteLLM, zelf gehostGeen licentiekosten; je servers, Postgres en wachtdiensten komen erbij en zijn hier niet meegeteld	$0alleen licentie	$0alleen licentie	$0alleen licentie
INFROVast plan op basis van verzoekvolume, 0% opslag	$35Developer, 100K verzoeken	$199Team, 1M verzoeken	$599Business, 3M verzoeken

Alleen de eigen kosten van de gateway. De modeluitgaven zijn in elke rij gelijk en niet meegerekend. Het plan van INFRO volgt verzoeken, niet uitgaven, dus de INFRO-rij gaat uit van gemiddeld $0.02 modeluitgaven per verzoek (100K, 1M, 3M verzoeken). Dat is een voorbeeld, geen gemeten gemiddelde. Maandelijkse facturering; jaarplannen kosten minder per maand. Vul je eigen cijfers in met de gatewaykostencalculator.

Waar LiteLLM minder kost: LiteLLM, zelf gehost bij $2,000 per maand ($0 tegenover INFRO Developer voor $35); LiteLLM, zelf gehost bij $20,000 per maand ($0 tegenover INFRO Team voor $199); LiteLLM, zelf gehost bij $60,000 per maand ($0 tegenover INFRO Business voor $599).

Wat overstappen van LiteLLM vraagt.

01Clients houden de OpenAI-SDK: wijzig de base-URL van je LiteLLM-proxy naar https://api.infro.io/v1 en gebruik een INFRO-gatewaysleutel.
02Elke provider in je LiteLLM-model_list wordt een gekoppeld provideraccount in INFRO; modelaliassen worden vendor/model-id's of benoemde routes.
03Virtuele sleutels worden gatewaysleutels met eigen uitgavenlimieten, toegestane providers en modellen; teams worden projecten, gebruikersbudgetten worden eindklantplafonds (Team-plan).
04Routerinstellingen (fallbacks, nieuwe pogingen, load balancing) worden de doelen en faalregels van een route.
05Alles wat binnen hetzelfde proces op de Python-SDK van LiteLLM is gebouwd, blijft zoals het is, of roept INFRO aan zoals elk OpenAI-compatibel endpoint. Je kunt de proxy ook houden en hem als OpenAI-compatibele provider aan INFRO koppelen.

Naast elkaar.

Ook onze kolom heeft streepjes. Een vergelijking waarin één kant alleen vinkjes heeft, gelooft niemand, en terecht.

Functionaliteit	LiteLLM	INFRO
Eén API voor veel providers	ja100+ providers	jade providers die je koppelt
Routering, retries en failover	ja	ja
Je eigen provideraccounts	jaje draait het zelf met je eigen sleutels	jagekoppeld per omgeving
Zelf hosten en open source	jaMIT-kern	gedeeltelijkzelf gehost op basis van een overeenkomst; gateway niet open source
Niets uit te rollen of te beheren	neePostgres; Redis voorbij één instantie	jagehoste dienst
Budgetten per sleutel, gebruiker, team en eindgebruiker	ja	ja
Kosten per verzoek tegen je eigen tarieven	jaaangepaste prijzen	jaonderhandelde tarieven op Team en hoger
Reconciliatie met de eigen rekening van de provider	gedeeltelijkAlleen OpenAI, aangekondigd voor een komende release	gedeeltelijkOpenAI en Anthropic, Business-plan; verschil vermeld
Guardrails en PII-maskering	javeel integraties	gedeeltelijkchatpatronen plus promptclassifiers; Business-plan
Promptbeheer	ja	neeniet gebouwd
Organisatierollen en auditlog	gedeeltelijkenterprise-licentie	jaelk plan
Beeld, video en audio	ja	ja
Nu beschikbaar	ja	jazelf aanmelden

Onze lezing van de openbare documentatie van elk product per oktober 2026. We citeren geen prijzen van concurrenten — die veranderen en een verkeerd getal over andermans bedrijf is erger dan geen. Denk je dat een rij niet klopt? Laat het ons weten, dan passen we het aan.

Bereken wat het verschil waard is

Schat wat je huidige modelmix kost tegen de lijstprijzen van je providers en welk plan je nodig hebt, of laat ons je echte gebruik lezen en vertellen waar we wel en niet zouden helpen.

Prijs je workload Gratis prijsschatting

Gebruik je al LiteLLM? Lees de migratiegids van LiteLLM: de code die verandert, wat meekomt en wat niet.

Meer dan twee opties afwegen? Vergelijk elk alternatief voor LiteLLM, met wanneer welke de betere keuze is.

Bronnen

Elk cijfer over LiteLLM op deze pagina komt van de eigen pagina's van die partij, geopend op de getoonde datum.

1.litellm.ai (opent in een nieuw tabblad) — gecontroleerd op Oct 24, 2026. The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
2.docs.litellm.ai/docs/simple_proxy (opent in een nieuw tabblad) — gecontroleerd op Oct 24, 2026. The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
3.docs.litellm.ai/docs/enterprise (opent in een nieuw tabblad) — gecontroleerd op Oct 24, 2026. LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
4.docs.litellm.ai/blog/security-update-march-2026 (opent in een nieuw tabblad) — gecontroleerd op Oct 24, 2026. On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.