Naar de inhoud

MigratiegidsenVanaf LiteLLM

Van een LiteLLM-proxy die je zelf draait naar een die je niet zelf draait

LiteLLM is twee dingen: een Python-SDK die met 100+ providers praat, en een proxy die je deployt met Postgres en Redis en die virtuele sleutels, budgetten, fallbacks en caching toevoegt. Beide draaien op je eigen providersleutels, zoals INFRO. Wat verandert is wie de proxy draait. Deze pagina vertaalt de config van de proxy naar INFRO en laat zien hoe je de SDK houdt.

MIT open source van BerriAI, plus een gelicentieerde Enterprise-editie; zelf gehost

INFRO-accounts zijn selfservice. De catalogus, de documentatie en het API-contract zijn openbaar, de gateway is uitgerold, en alles na v1 is gemarkeerd als Later. Plannen en proefperiode

Hoe het ervoor staat

Licentie en edities

Alles buiten de map enterprise/ is MIT; Enterprise is hetzelfde image met een licentiesleutel, met SSO, SCIM, auditlogs, secret managers en support erbij.

Beveiligingsadviezen in 2026

De eigen blog van LiteLLM noemt een PyPI-compromittering van litellm 1.82.7 en 1.82.8 op 2026-03-24 (het officiële Docker-image was niet getroffen; schone 1.83.0 verscheen op 2026-03-30), een SQL-injectie in de sleutelverificatie van de proxy, verholpen in 1.83.7 (2026-04-29), en een omzeiling van authenticatie via de Host-header, verholpen in 1.84.0 (2026-06-01). Wie de proxy draait, moet dit zelf bijhouden.

Wiens account het verzoek bedient

Jij, in beide producten. LiteLLM houdt nooit een provideraccount aan, en INFRO ook niet; je providers factureren je rechtstreeks.

LiteLLM is gratis, open en draait overal. Als dat je redenen waren om het te kiezen, zijn het nog steeds goede redenen.

  • Verkeer mag je netwerk niet verlaten, of je moet de code van de gateway kunnen lezen en patchen. INFRO is gehost en closed source; zelf gehost of hybride is een enterprise-overeenkomst.
  • Je gebruikt semantische caching, fallbacks op contextvenster of contentpolicy, de A2A-agentgateway of callbacks naar een specifieke logging-leverancier. INFRO heeft caching op exacte overeenkomst, faalregels op routes, een MCP-gateway en OpenTelemetry-export.
  • Je roept providers aan die INFRO niet koppelt, of endpoints die het niet bedient: batches, bestanden, fine-tuning, Realtime, embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint.
  • Het draaien kost je weinig omdat een platformteam al eigenaar is van Postgres, Redis en upgrades.

De wijzigingen, één rij per wijziging. Alles wat hier niet staat, blijft zoals het is.

 LiteLLMINFRO
Basis-URLJe proxy, bijvoorbeeld http://0.0.0.0:4000.https://api.infro.io/v1
SleutelEen virtuele LiteLLM-sleutel (sk-...) uit /key/generate.Een INFRO-gatewaysleutel, aangemaakt in de console of de management-API. Providersleutels verhuizen van litellm_params naar INFRO-verbindingen.
Model-IDEen model_name uit model_list, zoals gpt-4o.Een route met dezelfde naam, zodat aanroepers die blijven sturen, of direct vendor/model.
Bodyveldenmetadata { tags, trace_id, trace_user_id, generation_name }, cache { ttl, namespace }, user.metadata { user_id, session_id, tags }, cache voor de responscache, X-INFRO-Trace-Id voor een trace-ID.

Voor · LiteLLM proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://0.0.0.0:4000",
  apiKey: process.env.LITELLM_API_KEY, // virtual key
});

await client.chat.completions.create({
  model: "claude-default", // model_name in model_list
  messages: [{ role: "user", content: "Hello" }],
  user: "user-123",
  // @ts-expect-error LiteLLM extension
  metadata: { tags: ["production"] },
});

Na · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "claude-default", // an INFRO route, same name
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user-123", tags: { env: "production" } },
});

`model_list` wordt routes

Elke model_name met meerdere deployments wordt een route met die doelen; rpm-gewichten worden gewogen doelen; router_settings.fallbacks worden de latere doelen van de route of fallbacks.

Houd de SDK

De OpenAI-compatibele provider van LiteLLM stuurt alles na openai/ als model-ID, dus openai/anthropic/claude-sonnet-5.5 bereikt INFRO als anthropic/claude-sonnet-5.5. Fallbacks gebeuren dan in INFRO, niet in de SDK.

Of houd de proxy achter INFRO

Koppel de proxy als openai-compatible-verbinding terwijl je overstapt. Let op: INFRO ziet dan alleen de proxy als één provider, dus failover en kosten per provider gebeuren nog binnen LiteLLM totdat je de providers rechtstreeks koppelt.

De objecten van LiteLLM tegenover die van INFRO, op basis van de openbare documentatie van LiteLLM gelezen op 19 oktober 2026 en getoetst aan wat de gateway implementeert. Eén rij zegt dat INFRO niets heeft.

LiteLLMWat het daar doetIn INFRO
`model_list` en `litellm_params`zelfde vormDeployments per modelnaam, met providersleutels in de config.Providerverbindingen (sleutels verzegeld, meerdere per provider) en routes erover.
Virtuele sleutelszelfde vormDoor de proxy uitgegeven sleutels met toegestane modellen, budget, tpm en rpm, team en gebruiker.Gatewaysleutels met toegestane modellen, providers, IP-bereiken, een omgeving, een uitgavenlimiet en tier voor verzoektempo; rotatie en een uitschakelknop.
Teams, gebruikers, budgettenzelfde vormmax_budget en budget_duration per sleutel, team of gebruiker.Budgetten per organisatie, project, lid, sleutel en eindklant, gehandhaafd onder gelijktijdigheid, 402 bij het plafond vóór de aanroep naar de provider.
tpm-limietenandersLimieten in tokens per minuut per sleutel of deployment.Tiers voor verzoektempo per sleutel en dollarbudgetten. Geen limiet in tokens per minuut.
Fallbacks en retrieszelfde vormfallbacks, num_retries, cooldowns, allowed_fails.Routedoelen en faalregels per type (opnieuw proberen, failoveren of stoppen); fallbacks per verzoek.
Fallbacks op contextvenster en contentpolicyandersEen ander model wanneer de prompt te lang is of het beleid van een provider hem weigert.Een moderation-faalregel kan failoveren naar het volgende doel. Geen fallback op contextvenster.
CachingandersExacte en semantische caches op Redis, S3, GCS, Qdrant en andere.Exacte overeenkomst, opt-in, voor chat completions, gehost. Geen semantische cache.
GuardrailsandersPluggable guardrails; meerdere integraties vragen Enterprise.Patroonregels die blokkeren, redigeren of markeren, en controles op een beslismodel, op elk plan dat guardrails bevat.
Logging-callbacksandersCallbacks naar Langfuse en andere tools; uitgavenlogs in Postgres.Het verzoeklog, exports en spans naar je OpenTelemetry-collector.
UitgavenregistratieandersKosten uit de modelprijsmap van LiteLLM.Geschatte providerkosten uit je onderhandelde tarieven of het lijsttarief van de leverancier, unpriced als onbekend, gereconcilieerd met de kosten-API's van OpenAI en Anthropic.
MCP-gatewayzelfde vormMCP-servers achter de proxy.Een MCP-gateway voor je eigen MCP-servers, met goedgekeurde tools en toekenningen per sleutel.
A2A-agentgatewaynietsAgent-naar-agentverkeer via de proxy.Niets.
Het zelf draaienandersMIT, Docker of pip, overal.Gehost. Zelf gehost of hybride is een enterprise-overeenkomst.Enterprise — Beschikbaar via een enterprise-overeenkomst, niet via selfservice.

Onze lezing van de gepubliceerde documentatie van LiteLLM, geen proefperiode of benchmark. Als we iets verkeerd hebben gelezen, laat het ons weten en we passen de rij aan.

Wat INFRO niet doet

  • Draaien op je eigen infrastructuur zonder enterprise-overeenkomst, of je de broncode laten lezen.
  • Semantische caching, fallbacks op contextvenster, A2A.
  • Batches, bestanden, fine-tuning of Realtime bedienen, of embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint.
  • Limieten in tokens per minuut; INFRO begrenst op verzoektempo en op dollars.

Wat niet meekomt

  • Uitgavenlogs en verzoekgeschiedenis in je LiteLLM-Postgres. Er is geen importer.
  • Virtuele sleutels. Geef INFRO-gatewaysleutels uit en laat aanroepers overstappen.
  • Callbacks en eigen hooks. Gebruik OpenTelemetry-export, of houd die logica in je code.

Vragen

Kan ik de LiteLLM Python-SDK blijven gebruiken?
Ja. Roep INFRO aan via de OpenAI-compatibele provider van LiteLLM: model="openai/<INFRO model id>" met api_base="https://api.infro.io/v1" en je INFRO-sleutel.
Is INFRO open source zoals LiteLLM?
Nee. INFRO is een gehoste dienst; een zelf gehoste of hybride deployment is beschikbaar onder een enterprise-overeenkomst.
Wie betaalt de modelproviders?
Jij, rechtstreeks, zoals bij LiteLLM. INFRO is een abonnement en voegt 0% toe aan modeluitgaven.

Overstappen met ons, of zelf

Het migratieprogramma brengt je LiteLLM-setup in een gesprek in kaart naar INFRO-verbindingen, -routes en -budgetten en verhuist de eerste service samen met je. Je providers blijven je rechtstreeks factureren; INFRO is een abonnement en voegt 0% toe aan modeluitgaven.

Probeer 14 dagen Plan een migratiesessieINFRO vs LiteLLMLees de quickstart

Bronnen

Elke uitspraak op deze pagina over LiteLLM komt uit een van deze bronnen, gelezen op 19 oktober 2026. Niets is afgeleid uit een proefperiode, een benchmark of een gesprek.