Open-Source-LLM-Gateway zum Selbsthosten
INFRO vs LiteLLM
LiteLLM ist eines der am weitesten verbreiteten Open-Source-LLM-Gateways: ein Python-SDK und ein selbst gehosteter, OpenAI-kompatibler Proxy, der mehr als 100 Anbieter erreicht, mit virtuellen Schlüsseln, Budgets nach Schlüssel, Nutzer, Team und Endkunde, Load Balancing und Fallbacks, Ausgabenerfassung, Caching, Guardrail-Integrationen und Logging-Callbacks. Der Kern steht unter MIT-Lizenz; Organisationen, Audit-Logs und einige Admin-Kontrollen liegen unter einer kommerziellen Enterprise-Lizenz. Wenn Sie das Gateway selbst betreiben wollen, ist es die Standardwahl, und es hat sich diese verdient.
Von INFRO Editorial
Zuletzt geprüft
- Sie wollen das Gateway in Ihrer eigenen Infrastruktur zu Ihren eigenen Bedingungen betreiben, ohne Herstellervertrag. LiteLLM ist dafür gebaut, von jedem selbst gehostet zu werden; die selbst gehosteten und hybriden Deployments von INFRO gibt es nur mit einer Enterprise-Vereinbarung.
- Sie wollen Open-Source-Code, den Sie lesen, patchen und forken können, ohne Abonnement für den Kern.
- Sie brauchen einen Anbieter, den INFRO nicht verbindet. Deren Katalog von mehr als 100 Anbietern ist weit breiter als unsere Liste von Anbietertypen.
- Prompt-Management, semantisches Caching oder ein bestimmter Guardrail-Anbieter (Presidio, Lakera, Bedrock Guardrails und andere) gehört zur Anforderung. INFRO hat kein Prompt-Management, und seine Guardrails sind musterbasierte Prüfungen auf PII, Secrets und Ihre eigenen Begriffe bei Chat Completions, plus reine Prompt-Klassifikator-Prüfungen auf Ihrer eigenen Entscheidungsmodell-Verbindung, im Business-Tarif.
- Sie rufen Modelle aus Python auf und wollen das Routing im Prozess, als Bibliothek, ganz ohne Gateway-Hop.
Dieser Abschnitt ist keine Höflichkeit. Wenn einer dieser Punkte auf Sie zutrifft, wählen Sie LiteLLM – ein Kunde, der auf unseren Rat hin die falsche Schicht einführt, ist schlechter für uns als einer, den wir nie hatten.
Wo die beiden sich tatsächlich unterscheiden.
- Software, die Sie betreiben, oder ein Dienst, den Sie nutzen
- Den LiteLLM-Proxy betreiben Sie selbst. Virtuelle Schlüssel und Ausgabenerfassung brauchen eine Postgres-Datenbank; ab mehr als einer Instanz brauchen gemeinsame Limits und Router-Zustand Redis, sonst setzt jede Instanz ihre Limits für sich durch. Upgrades, Skalierung, Backups und Bereitschaft gehören zur Einführung – was zu einem Plattformteam passt, das solche Dienste ohnehin betreibt, und für eines, das das nicht tut, echte Arbeit ist. Die Tarife von INFRO sind gehostet: Es gibt nichts bereitzustellen. Der Kompromiss ist das Spiegelbild: Ihre Anfragen laufen über unseren Dienst statt über Ihren. Eine Enterprise-Vereinbarung kann INFRO stattdessen in Ihre eigene Infrastruktur bringen; ohne eine ist genau das der Fall, in dem LiteLLM die bessere Wahl ist.
- Wo die Organisationskontrollen liegen
- In LiteLLM sind Organisationen und ihre Admin-Rollen, Audit-Logs und Single Sign-on ab fünf Nutzern Funktionen der Enterprise-Lizenz. In INFRO sind Projekte, Umgebungen, fünf Rollen, Modell-Freigabelisten auf Organisations-, Projekt- und Schlüsselebene, Budgets und ein Audit-Log, wer welche Richtlinie geändert hat, in jedem Tarif enthalten, auch im Einstiegstarif. SAML/OIDC-SSO und SCIM gibt es mit dem Business-Tarif; sie sind neu und liefen in der Produktion noch nicht gegen den Identitätsanbieter eines Kunden, daher richten wir die erste Verbindung gemeinsam mit Ihnen ein.
- Geschätzte Kosten, und dann die Zahl des Anbieters
- Beide Produkte schätzen die Kosten jeder Anfrage aus einer Preistabelle, und beide akzeptieren Ihre eigenen Preise. LiteLLM dokumentiert einen Abgleich seiner Ausgaben mit der Costs-API von OpenAI als Teil eines kommenden Releases. Im Business-Tarif gleicht INFRO die Schätzung des Monats mit den eigenen Kosten-APIs von OpenAI und Anthropic ab und benennt die Abweichung, statt anzunehmen, es gebe keine.
- Kein Entweder-oder
- Ein LiteLLM-Proxy, den Sie bereits betreiben, spricht die OpenAI-API und kann daher als OpenAI-kompatibler Endpunkt mit INFRO verbunden werden: Behalten Sie ihn für die Anbieter, die nur er erreicht, und stellen Sie die Budgets, die Zuordnung und die Audit-Spur von INFRO vor den gesamten Bestand.
Was das Gateway bei $2K, $20K und $60K im Monat kostet.
LiteLLM berechnet für sein MIT-lizenziertes Gateway nichts; was es Sie kostet, sind die Server, die Postgres-Datenbank und die Menschen, die es am Laufen halten – das kann keine Tabelle für Sie beziffern. INFRO ist ein pauschaler Tarif nach Anfragevolumen.
| Monatliche Modellausgaben | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM, selbst gehostetKeine Lizenzgebühr; Ihre Server, Postgres und Bereitschaftsdienst kommen hinzu und sind hier nicht eingerechnet | $0nur Lizenz | $0nur Lizenz | $0nur Lizenz |
| INFROPauschaler Tarif nach Anfragevolumen, 0 % Aufschlag | $35Developer, 100K Anfragen | $199Team, 1M Anfragen | $599Business, 3M Anfragen |
Nur die eigene Gebühr des Gateways. Die Modellausgaben sind in jeder Zeile gleich und nicht enthalten. INFROs Tarif richtet sich nach Anfragen, nicht nach Ausgaben, daher nimmt die INFRO-Zeile durchschnittlich $0.02 Modellausgaben pro Anfrage an (100K, 1M, 3M Anfragen). Das ist eine Veranschaulichung, kein gemessener Durchschnitt. Monatliche Abrechnung; Jahrestarife kosten pro Monat weniger. Setzen Sie Ihre eigenen Zahlen in den Gateway-Kostenrechner ein.
Wo LiteLLM weniger kostet: LiteLLM, selbst gehostet bei $2,000 im Monat ($0 gegenüber INFRO Developer für $35); LiteLLM, selbst gehostet bei $20,000 im Monat ($0 gegenüber INFRO Team für $199); LiteLLM, selbst gehostet bei $60,000 im Monat ($0 gegenüber INFRO Business für $599).
Was der Wechsel von LiteLLM erfordert.
- 01Clients behalten das OpenAI-SDK: Ändern Sie die Basis-URL von Ihrem LiteLLM-Proxy auf
https://api.infro.io/v1und verwenden Sie einen INFRO-Gateway-Schlüssel. - 02Jeder Anbieter in Ihrer LiteLLM-
model_listwird zu einem verbundenen Anbieterkonto in INFRO; Modell-Aliasse werden zuvendor/model-IDs oder benannten Routen. - 03Virtuelle Schlüssel werden zu Gateway-Schlüsseln mit eigenen Ausgabenlimits, erlaubten Anbietern und Modellen; Teams entsprechen Projekten, Nutzerbudgets den Endkunden-Limits (Team-Tarif).
- 04Router-Einstellungen (Fallbacks, Wiederholungen, Lastverteilung) werden zu den Zielen und Fehlerregeln einer Route.
- 05Alles, was auf LiteLLMs Python-SDK im selben Prozess aufbaut, bleibt, wie es ist, oder ruft INFRO wie jeden OpenAI-kompatiblen Endpunkt auf. Sie können den Proxy auch behalten und ihn als OpenAI-kompatiblen Anbieter mit INFRO verbinden.
Nebeneinander.
Auch unsere Spalte hat Striche. Einem Vergleich, bei dem eine Seite nur Häkchen hat, glaubt niemand, und zu Recht.
| Funktion | LiteLLM | INFRO |
|---|---|---|
| Eine API über viele Anbieter | ja100+ Anbieter | jadie Anbieter, die Sie verbinden |
| Routing, Wiederholungen und Failover | ja | ja |
| Ihre eigenen Anbieterkonten | jaSie betreiben es mit Ihren Schlüsseln | japro Umgebung verbunden |
| Selbsthosting und Open Source | jaMIT-Kern | teilweisenach Vereinbarung selbst gehostet; Gateway nicht Open Source |
| Nichts bereitzustellen oder zu betreiben | neinPostgres; Redis ab mehr als einer Instanz | jagehosteter Dienst |
| Budgets nach Schlüssel, Nutzer, Team und Endkunde | ja | ja |
| Kosten pro Anfrage zu Ihren eigenen Preisen | jaindividuelle Preise | jaausgehandelte Preise ab Team |
| Abgleich mit der Rechnung des Anbieters | teilweiseNur OpenAI, für ein kommendes Release angekündigt | teilweiseOpenAI und Anthropic, Business-Tarif; Abweichung benannt |
| Guardrails und PII-Maskierung | javiele Integrationen | teilweiseChat-Muster plus Prompt-Klassifikatoren; Business-Tarif |
| Prompt-Management | ja | neinnicht gebaut |
| Organisationsrollen und Audit-Log | teilweiseEnterprise-Lizenz | jajeder Tarif |
| Bild, Video und Audio | ja | ja |
| Heute verfügbar | ja | jaSelf-Service-Anmeldung |
Unsere Lesart der öffentlichen Dokumentation jedes Produkts, Stand Oktober 2026. Wir nennen keine Preise von Wettbewerbern – sie ändern sich, und eine falsche Zahl über das Geschäft anderer ist schlimmer als keine. Halten Sie eine Zeile für falsch? Sagen Sie es uns, und wir korrigieren sie.
Rechnen Sie aus, was der Unterschied wert ist
Schätzen Sie, was Ihr aktueller Modellmix zu den Listenpreisen Ihrer Anbieter kostet und welchen Tarif er braucht, oder lassen Sie uns Ihre echte Nutzung lesen und Ihnen sagen, wo wir helfen würden und wo nicht.
Schon bei LiteLLM? Lesen Sie den Migrationsleitfaden von LiteLLM: der Code, der sich ändert, was übernommen wird und was nicht.
Mehr als zwei Optionen im Blick? Alle LiteLLM-Alternativen vergleichen, mit Angabe, wann welche die bessere Wahl ist.
Quellen
Jede Angabe zu LiteLLM auf dieser Seite stammt von den eigenen Seiten des Anbieters, geöffnet an dem angegebenen Datum.
- 1.litellm.ai (öffnet in einem neuen Tab) – geprüft am Oct 24, 2026. The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy (öffnet in einem neuen Tab) – geprüft am Oct 24, 2026. The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise (öffnet in einem neuen Tab) – geprüft am Oct 24, 2026. LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 (öffnet in einem neuen Tab) – geprüft am Oct 24, 2026. On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.