Passerelle LLM open source que vous hébergez vous-même
INFRO vs LiteLLM
LiteLLM est l'une des passerelles LLM open source les plus utilisées : un SDK Python et un proxy auto-hébergé compatible OpenAI qui atteint plus de 100 fournisseurs, avec des clés virtuelles, des budgets par clé, utilisateur, équipe et utilisateur final, de la répartition de charge et des replis, du suivi des dépenses, du cache, des intégrations de garde-fous et des callbacks de journalisation. Le cœur est sous licence MIT ; les organisations, les journaux d'audit et certains contrôles d'administration relèvent d'une licence entreprise commerciale. Si vous voulez exploiter la passerelle vous-même, c'est le choix par défaut, et il l'a mérité.
Par INFRO Editorial
Dernière vérification :
- Vous voulez exploiter la passerelle dans votre propre infrastructure, à vos conditions, sans accord avec un fournisseur. LiteLLM est conçu pour être auto-hébergé par n'importe qui ; les déploiements auto-hébergés et hybrides d'INFRO ne viennent qu'avec un accord Enterprise.
- Vous voulez du code open source que vous pouvez lire, corriger et forker, sans abonnement pour le noyau.
- Il vous faut un fournisseur qu'INFRO ne connecte pas. Leur catalogue de plus de 100 fournisseurs est bien plus large que notre liste de types de fournisseurs.
- La gestion des prompts, le cache sémantique ou un fournisseur de garde-fous précis (Presidio, Lakera, Bedrock Guardrails et d'autres) fait partie de l'exigence. INFRO n'a pas de gestion des prompts, et ses garde-fous sont des contrôles par motifs pour les PII, les secrets et vos propres termes sur les complétions de chat, plus des contrôles par classificateur portant uniquement sur les prompts, sur votre propre connexion à un modèle de décision, avec l'offre Business.
- Vous appelez des modèles depuis Python et voulez le routage dans le processus, sous forme de bibliothèque, sans aucun saut par une passerelle.
Cette section n'est pas une politesse. Si l'un de ces cas vous décrit, choisissez LiteLLM — un client qui adopte la mauvaise couche sur notre conseil est pire pour nous qu'un client que nous n'avons jamais eu.
Là où les deux divergent vraiment.
- Un logiciel que vous exploitez, ou un service que vous utilisez
- Le proxy LiteLLM est à vous d'exploiter. Les clés virtuelles et le suivi des dépenses exigent une base Postgres ; au-delà d'une instance, les limites partagées et l'état du routeur exigent Redis, sans quoi chaque instance applique ses limites seule. Les mises à jour, le dimensionnement, les sauvegardes et l'astreinte font partie de son adoption — ce qui convient à une équipe plateforme qui exploite déjà ce type de service, et représente un vrai travail pour celle qui ne le fait pas. Les offres d'INFRO sont hébergées : il n'y a rien à déployer. Le compromis est l'image inverse : vos requêtes passent par notre service plutôt que par le vôtre. Un accord Enterprise peut installer INFRO dans votre propre infrastructure ; sans lui, c'est exactement le cas où LiteLLM est le meilleur choix.
- Où vivent les contrôles de l'organisation
- Dans LiteLLM, les organisations et leurs rôles d'administration, les journaux d'audit et l'authentification unique au-delà de cinq utilisateurs sont des fonctionnalités de la licence entreprise. Dans INFRO, les projets, les environnements, cinq rôles, les listes d'autorisation de modèles au niveau de l'organisation, du projet et de la clé, les budgets et un journal d'audit de qui a modifié quelle politique figurent sur toutes les offres, y compris la première. Le SSO SAML/OIDC et SCIM sont inclus avec l'offre Business ; ils sont récents et n'ont pas encore tourné en production avec le fournisseur d'identité d'un client : nous configurons donc la première connexion avec vous.
- Le coût estimé, puis le chiffre du fournisseur
- Les deux produits estiment le coût de chaque requête à partir d'une grille de prix et acceptent vos propres tarifs. LiteLLM indique, dans sa documentation, qu'une vérification de ses dépenses par rapport à l'API Costs d'OpenAI arrivera dans une prochaine version. Avec l'offre Business, INFRO compare l'estimation du mois aux API de coûts d'OpenAI et d'Anthropic et indique l'écart plutôt que de supposer qu'il n'y en a pas.
- Pas l'un ou l'autre
- Un proxy LiteLLM que vous exploitez déjà parle l'API OpenAI : il peut donc être connecté à INFRO comme endpoint compatible OpenAI. Gardez-le pour les fournisseurs que lui seul atteint, et placez les budgets, l'attribution et la piste d'audit d'INFRO devant tout le parc.
Ce que coûte la passerelle à $2K, $20K et $60K par mois.
LiteLLM ne facture rien pour sa passerelle sous licence MIT ; ce qu'elle vous coûte, ce sont les serveurs, la base Postgres et les personnes qui la font tourner, ce qu'aucun tableau ne peut chiffrer à votre place. INFRO est un forfait selon le volume de requêtes.
| Dépenses mensuelles de modèles | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM, auto-hébergéPas de licence ; vos serveurs, Postgres et l'astreinte s'ajoutent et ne sont pas comptés ici | $0licence seule | $0licence seule | $0licence seule |
| INFROForfait selon le volume de requêtes, 0 % de majoration | $35Developer, 100K requêtes | $199Team, 1M requêtes | $599Business, 3M requêtes |
Uniquement les frais propres de la passerelle. Les dépenses de modèles sont identiques sur chaque ligne et ne sont pas incluses. L'offre INFRO suit les requêtes, pas les dépenses : la ligne INFRO suppose donc en moyenne $0.02 de dépenses de modèles par requête (100K, 1M, 3M requêtes). C'est une illustration, pas une moyenne mesurée. Facturation mensuelle ; les offres annuelles coûtent moins par mois. Saisissez vos propres chiffres dans le calculateur de coût de la passerelle.
Là où LiteLLM coûte moins : LiteLLM, auto-hébergé à $2,000 par mois ($0 contre INFRO Developer à $35); LiteLLM, auto-hébergé à $20,000 par mois ($0 contre INFRO Team à $199); LiteLLM, auto-hébergé à $60,000 par mois ($0 contre INFRO Business à $599).
Ce que demande le passage depuis LiteLLM.
- 01Les clients gardent le SDK OpenAI : remplacez l'URL de base de votre proxy LiteLLM par
https://api.infro.io/v1et utilisez une clé de passerelle INFRO. - 02Chaque fournisseur de votre
model_listLiteLLM devient un compte fournisseur connecté dans INFRO ; les alias de modèles deviennent des identifiantsvendor/modelou des routes nommées. - 03Les clés virtuelles deviennent des clés de passerelle avec leurs propres limites de dépenses, fournisseurs et modèles autorisés ; les équipes correspondent aux projets, les budgets utilisateurs aux plafonds par client final (offre Team).
- 04Les réglages du routeur (repli, nouvelles tentatives, répartition de charge) deviennent les cibles et les règles d'échec d'une route.
- 05Tout ce qui repose sur le SDK Python de LiteLLM dans le même processus reste en l'état, ou appelle INFRO comme n'importe quel endpoint compatible OpenAI. Vous pouvez aussi garder le proxy et le connecter à INFRO comme fournisseur compatible OpenAI.
Côte à côte.
Notre colonne a aussi des tirets. Un comparatif où un côté n'a que des coches, personne n'y croit, et à raison.
| Fonctionnalité | LiteLLM | INFRO |
|---|---|---|
| Une API pour de nombreux fournisseurs | ouiplus de 100 fournisseurs | ouiles fournisseurs que vous connectez |
| Routage, nouvelles tentatives et basculement | oui | oui |
| Vos propres comptes fournisseurs | ouivous l'exploitez avec vos clés | ouiconnectés par environnement |
| Auto-hébergement et open source | ouiNoyau MIT | partielauto-hébergé par accord ; passerelle non open source |
| Rien à déployer ni à exploiter | nonPostgres ; Redis au-delà d'une instance | ouiservice hébergé |
| Budgets par clé, utilisateur, équipe et utilisateur final | oui | oui |
| Coût par requête à vos propres tarifs | ouitarification sur mesure | ouitarifs négociés sur Team et au-dessus |
| Rapprochement avec la facture du fournisseur | partielOpenAI uniquement, annoncé pour une prochaine version | partielOpenAI et Anthropic, offre Business ; écart indiqué |
| Garde-fous et masquage des PII | ouinombreuses intégrations | partielmotifs sur le chat plus classifieurs de prompts ; offre Business |
| Gestion des prompts | oui | nonnon développé |
| Rôles d'organisation et journal d'audit | partiellicence entreprise | ouitoutes les offres |
| Image, vidéo et audio | oui | oui |
| Disponible aujourd'hui | oui | ouiinscription en libre-service |
Notre lecture de la documentation publique de chaque produit au octobre 2026. Nous ne citons pas les prix des concurrents — ils changent, et un chiffre faux sur l'activité de quelqu'un d'autre est pire que pas de chiffre. Une ligne vous semble fausse ? Dites-le-nous et nous la corrigerons.
Évaluez ce que vaut la différence
Estimez ce que coûte votre combinaison actuelle de modèles aux tarifs publics de vos fournisseurs et l'offre nécessaire, ou laissez-nous lire votre utilisation réelle pour vous dire où nous aiderions et où nous n'aiderions pas.
Déjà sur LiteLLM ? Lisez le guide de migration depuis LiteLLM : le code qui change, ce qui est conservé et ce qui ne l'est pas.
Plus de deux options à comparer ? Comparez toutes les alternatives à LiteLLM, avec le cas où chacune est le meilleur choix.
Sources
Chaque chiffre concernant LiteLLM sur cette page provient de ses propres pages, consultées à la date indiquée.
- 1.litellm.ai (s'ouvre dans un nouvel onglet) — vérifié le Oct 24, 2026. The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy (s'ouvre dans un nouvel onglet) — vérifié le Oct 24, 2026. The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise (s'ouvre dans un nouvel onglet) — vérifié le Oct 24, 2026. LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 (s'ouvre dans un nouvel onglet) — vérifié le Oct 24, 2026. On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.