Zum Inhalt springen

MigrationsleitfädenVon LiteLLM

Von einem LiteLLM-Proxy, den Sie betreiben, zu einem, den Sie nicht betreiben

LiteLLM sind zwei Dinge: ein Python-SDK, das 100+ Anbieter anspricht, und ein Proxy, den Sie mit Postgres und Redis bereitstellen und der virtuelle Schlüssel, Budgets, Fallbacks und Caching ergänzt. Beide laufen wie INFRO auf Ihren eigenen Anbieterschlüsseln. Was sich ändert, ist, wer den Proxy betreibt. Diese Seite bildet die Konfiguration des Proxys auf INFRO ab und zeigt, wie Sie das SDK behalten.

MIT-Open-Source von BerriAI, plus lizenzierte Enterprise-Edition; selbst gehostet

INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase

Wo die Dinge stehen

Lizenz und Editionen

Alles außerhalb des Verzeichnisses enterprise/ steht unter MIT; Enterprise ist dasselbe Image mit einem Lizenzschlüssel und ergänzt SSO, SCIM, Audit-Logs, Secret-Manager und Support.

Sicherheitshinweise 2026

Der eigene Blog von LiteLLM nennt eine PyPI-Kompromittierung von litellm 1.82.7 und 1.82.8 am 2026-03-24 (das offizielle Docker-Image war nicht betroffen; das saubere 1.83.0 erschien am 2026-03-30), eine SQL-Injection bei der Schlüsselprüfung des Proxys, behoben in 1.83.7 (2026-04-29), und eine Umgehung der Authentifizierung über den Host-Header, behoben in 1.84.0 (2026-06-01). Wer den Proxy betreibt, muss das selbst verfolgen.

Über wessen Konto die Anfrage läuft

Ihre, bei beiden Produkten. LiteLLM hält nie ein Anbieterkonto, und INFRO ebenso wenig; Ihre Anbieter rechnen direkt mit Ihnen ab.

LiteLLM ist kostenlos, offen und läuft überall. Wenn das die Gründe waren, es zu wählen, sind es weiterhin gute Gründe.

  • Der Traffic darf Ihr Netzwerk nicht verlassen, oder Sie müssen den Code des Gateways lesen und patchen können. INFRO ist gehostet und Closed Source; selbst gehostet oder hybrid ist eine Enterprise-Vereinbarung.
  • Sie nutzen semantisches Caching, Fallbacks bei Kontextfenster oder Content-Policy, das A2A-Agent-Gateway oder Callbacks zu einem bestimmten Logging-Anbieter. INFRO hat Exact-Match-Caching, Fehlerregeln für Routen, ein MCP-Gateway und OpenTelemetry-Export.
  • Sie rufen Anbieter auf, die INFRO nicht verbindet, oder Endpunkte, die es nicht bereitstellt: Batches, Dateien, Fine-Tuning, Realtime, Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt.
  • Der Betrieb kostet Sie wenig, weil ein Plattformteam Postgres, Redis und Upgrades ohnehin verantwortet.

Die Änderungen, je eine Zeile. Alles, was hier nicht aufgeführt ist, bleibt, wie es ist.

 LiteLLMINFRO
Basis-URLIhr Proxy, zum Beispiel http://0.0.0.0:4000.https://api.infro.io/v1
SchlüsselEin virtueller LiteLLM-Schlüssel (sk-...) von /key/generate.Ein INFRO-Gateway-Schlüssel, erstellt in der Konsole oder der Management-API. Anbieterschlüssel ziehen von litellm_params zu INFRO-Verbindungen um.
Modell-IDEin model_name aus model_list, etwa gpt-4o.Eine Route mit demselben Namen, sodass Aufrufer sie weiter senden, oder direkt vendor/model.
Body-Feldermetadata { tags, trace_id, trace_user_id, generation_name }, cache { ttl, namespace }, user.metadata { user_id, session_id, tags }, cache für den Antwort-Cache, X-INFRO-Trace-Id für eine Trace-ID.

Vorher · LiteLLM proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://0.0.0.0:4000",
  apiKey: process.env.LITELLM_API_KEY, // virtual key
});

await client.chat.completions.create({
  model: "claude-default", // model_name in model_list
  messages: [{ role: "user", content: "Hello" }],
  user: "user-123",
  // @ts-expect-error LiteLLM extension
  metadata: { tags: ["production"] },
});

Nachher · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "claude-default", // an INFRO route, same name
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user-123", tags: { env: "production" } },
});

`model_list` wird zu Routen

Jeder model_name mit mehreren Deployments wird zu einer Route mit diesen Zielen; rpm-Gewichte werden zu gewichteten Zielen; router_settings.fallbacks werden zu den späteren Zielen der Route oder zu fallbacks.

Das SDK behalten

Der OpenAI-kompatible Provider von LiteLLM sendet alles nach openai/ als Modell-ID, sodass openai/anthropic/claude-sonnet-5.5 bei INFRO als anthropic/claude-sonnet-5.5 ankommt. Fallbacks finden dann in INFRO statt, nicht im SDK.

Oder den Proxy hinter INFRO behalten

Verbinden Sie den Proxy während des Umzugs als openai-compatible-Verbindung. Beachten Sie, dass INFRO dann nur den Proxy als einen Anbieter sieht, sodass Failover und Kosten pro Anbieter weiter innerhalb von LiteLLM stattfinden, bis Sie die Anbieter direkt verbinden.

Die Objekte von LiteLLM gegenüber denen von INFRO, anhand der öffentlichen Dokumentation von LiteLLM, gelesen am 19. Oktober 2026, und geprüft anhand dessen, was das Gateway implementiert. Eine Zeile besagt, dass INFRO nichts hat.

LiteLLMWas es dort tutIn INFRO
`model_list` und `litellm_params`gleiche FormDeployments pro Modellname, mit Anbieterschlüsseln in der Konfiguration.Anbieterverbindungen (Schlüssel versiegelt, mehrere pro Anbieter) und Routen darüber.
Virtuelle Schlüsselgleiche FormVom Proxy ausgestellte Schlüssel mit erlaubten Modellen, Budget, tpm und rpm, Team und Nutzer.Gateway-Schlüssel mit erlaubten Modellen, Anbietern, IP-Bereichen, einer Umgebung, einem Ausgabenlimit und einer Stufe für die Anfragerate; Rotation und ein Ausschalter.
Teams, Nutzer, Budgetsgleiche Formmax_budget und budget_duration pro Schlüssel, Team oder Nutzer.Budgets pro Organisation, Projekt, Mitglied, Schlüssel und Endkunde, auch unter Parallelität gehalten, 402 am Limit vor dem Anbieteraufruf.
tpm-LimitsandersToken-pro-Minute-Limits pro Schlüssel oder Deployment.Stufen für die Anfragerate pro Schlüssel und Dollar-Budgets. Kein Token-pro-Minute-Limit.
Fallbacks und Wiederholungengleiche Formfallbacks, num_retries, Cooldowns, allowed_fails.Routenziele und Fehlerregeln pro Anbietertyp (wiederholen, Failover oder stoppen); fallbacks pro Anfrage.
Fallbacks bei Kontextfenster und Content-PolicyandersEin anderes Modell, wenn der Prompt zu lang ist oder die Richtlinie eines Anbieters ihn ablehnt.Eine moderation-Fehlerregel kann zum nächsten Ziel wechseln. Kein Fallback bei Kontextfenstern.
CachingandersExakte und semantische Caches auf Redis, S3, GCS, Qdrant und anderen.Exakte Übereinstimmung, per Opt-in, für Chat Completions, gehostet. Kein semantischer Cache.
GuardrailsandersSteckbare Guardrails; mehrere Integrationen brauchen Enterprise.Musterregeln, die blockieren, schwärzen oder markieren, und Prüfungen auf einem Entscheidungsmodell, in jedem Tarif, der Guardrails enthält.
Logging-CallbacksandersCallbacks zu Langfuse und anderen Tools; Spend-Logs in Postgres.Das Anfrageprotokoll, Exporte und Spans an Ihren OpenTelemetry-Collector.
AusgabenerfassungandersKosten aus der Modellpreis-Map von LiteLLM.Geschätzte Anbieterkosten aus Ihren ausgehandelten Preisen oder dem Listenpreis des Herstellers, unpriced, wenn unbekannt, abgeglichen mit den Kosten-APIs von OpenAI und Anthropic.
MCP-Gatewaygleiche FormMCP-Server hinter dem Proxy.Ein MCP-Gateway für Ihre eigenen MCP-Server, mit freigegebenen Tools und Zuweisungen pro Schlüssel.
A2A-Agent-GatewaynichtsAgent-zu-Agent-Traffic über den Proxy.Nichts.
Selbst betreibenandersMIT, Docker oder pip, überall.Gehostet. Selbst gehostet oder hybrid ist ein Enterprise-Vertrag.Enterprise — Über einen Enterprise-Vertrag statt per Selbstregistrierung verfügbar.

Unsere Lesart der veröffentlichten Dokumentation von LiteLLM, kein Test und kein Benchmark. Wenn wir etwas falsch gelesen haben, sagen Sie es uns, und wir korrigieren die Zeile.

Was INFRO nicht tut

  • Auf Ihrer eigenen Infrastruktur ohne Enterprise-Vereinbarung betreiben oder den Quellcode lesen.
  • Semantisches Caching, Fallbacks bei Kontextfenstern, A2A.
  • Batches, Dateien, Fine-Tuning oder Realtime bereitstellen, oder Embeddings bei anderen Anbietern als OpenAI, Azure OpenAI, Mistral oder einem OpenAI-kompatiblen Endpunkt.
  • Token-pro-Minute-Limits; INFRO begrenzt nach Anfragerate und nach Dollar.

Was nicht übernommen wird

  • Spend-Logs und Anfragehistorie in Ihrem LiteLLM-Postgres. Es gibt keinen Importer.
  • Virtuelle Schlüssel. Stellen Sie INFRO-Gateway-Schlüssel aus und stellen Sie die Aufrufer um.
  • Callbacks und eigene Hooks. Nutzen Sie den OpenTelemetry-Export oder behalten Sie diese Logik in Ihrem Code.

Fragen

Kann ich das LiteLLM-Python-SDK weiter nutzen?
Ja. Rufen Sie INFRO über den OpenAI-kompatiblen Provider von LiteLLM auf: model="openai/<INFRO model id>" mit api_base="https://api.infro.io/v1" und Ihrem INFRO-Schlüssel.
Ist INFRO Open Source wie LiteLLM?
Nein. INFRO ist ein gehosteter Dienst; ein selbst gehostetes oder hybrides Deployment ist im Rahmen einer Enterprise-Vereinbarung möglich.
Wer bezahlt die Modellanbieter?
Sie, direkt, wie bei LiteLLM. INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

Wechseln Sie mit uns oder auf eigene Faust

Das Migrationsprogramm überträgt Ihr LiteLLM-Setup in einem Gespräch auf INFRO-Verbindungen, -Routen und -Budgets und zieht den ersten Dienst gemeinsam mit Ihnen um. Ihre Anbieter rechnen weiterhin direkt mit Ihnen ab; INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

14 Tage testen Migrationstermin buchenINFRO vs. LiteLLMQuickstart lesen

Quellen

Jede Aussage auf dieser Seite über LiteLLM stammt aus einer dieser Quellen, gelesen am 19. Oktober 2026. Nichts ist aus einem Test, einem Benchmark oder einem Gespräch abgeleitet.