Aller au contenu

Guides de migrationDepuis LLM Gateway

Depuis LLM Gateway, en gardant vos propres clés fournisseur

LLM Gateway (llmgateway.io) fonctionne sur son propre accès fournisseur payé sur crédits, sur vos propres clés fournisseur, ou les deux avec un repli de vos clés vers les crédits. Les équipes en mode BYOK sont déjà les plus proches d'INFRO. Cette page transpose ce mode, et dit clairement ce qu'INFRO ne fait pas.

llmgateway.io ; cœur AGPLv3 avec une édition `ee/` sous licence ; hébergé ou auto-hébergé

Les comptes INFRO sont en libre-service. Le catalogue, la documentation et le contrat d'API sont publics, la passerelle est déployée, et tout ce qui va au-delà de la v1 est marqué Plus tard. Offres et essai

Où en sont les choses

Licence

theopenco/llmgateway est sous AGPLv3 pour son cœur, avec des fonctionnalités commerciales sous une licence Enterprise distincte dans ee/. Il est hébergé sur api.llmgateway.io et peut être auto-hébergé.

Le compte de qui sert la requête

Son propre accès fournisseur sur crédits prépayés, vos clés fournisseur (sans majoration de la passerelle, selon sa documentation), ou un mode hybride qui se replie de vos clés vers les crédits.

Au-delà d'une passerelle

Sa documentation couvre aussi des offres de coding, une application de chat, un portail fournisseur, un SDK de paiement, des décisions et un endpoint System One. Ils ne font pas partie de cette correspondance.

Il est open source et étendu. Restez-y si c'est pour l'un de ces usages que vous l'utilisez.

  • Vous auto-hébergez sous AGPL. INFRO est hébergé ; l'auto-hébergement ou l'hybride relève d'un accord Enterprise.
  • Vous utilisez des identifiants de modèles sans fournisseur pour qu'il choisisse selon le prix, la disponibilité, le débit ou la latence, ou la sélection de modèle auto et smart. INFRO ne choisit pas selon le prix ou la vitesse.
  • Votre application AI SDK utilise l'endpoint du protocole AI Gateway et vous voulez un changement limité à l'URL de base. INFRO n'implémente pas ce protocole.
  • Vous utilisez Realtime, l'OCR ou la recherche par son intermédiaire, des embeddings de fournisseurs autres qu'OpenAI, Azure OpenAI ou Mistral, ou voulez accéder aux modèles sans comptes fournisseurs propres.

Les modifications, une ligne chacune. Tout ce qui n'est pas listé ici reste tel quel.

 LLM GatewayINFRO
URL de basehttps://api.llmgateway.io/v1, ou /v1/ai pour le protocole de la passerelle AI SDK.https://api.infro.io/v1
CléUne clé LLM Gateway.Une clé de passerelle INFRO ; vos clés fournisseur deviennent des connexions.
ID du modèlegpt-5.6-terra (choisi par la passerelle), openai/gpt-5.6-terra (épinglé), auto, dynamic/<name>.openai/gpt-5.6-terra, ou un nom de route à la place de dynamic/<name>.
En-têtesX-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id, X-INFRO-Feature ; routing.providers pour garder une requête sur un seul fournisseur.

Avant · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Après · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Applications AI SDK

Remplacez le fournisseur de la passerelle par createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey }) depuis @ai-sdk/openai et appelez .chat(modelId). Les identifiants de modèles restent vendor/model.

Le basculement est activé par défaut

Une requête qui nomme un modèle bascule entre celles de vos connexions qui le servent. routing.providers.allow la maintient sur les fournisseurs choisis, comme le faisaient X-No-Fallback ou un identifiant épinglé.

Les routes dynamiques deviennent des routes

Recréez chaque flux dynamic/<name> comme une route avec les mêmes cibles ; un classificateur de prompts couvre le routage par type de prompt.

Les objets de LLM Gateway face à ceux de INFRO, d'après la documentation publique de LLM Gateway lue le 19 octobre 2026 et vérifiés par rapport à ce que la passerelle implémente. Deux lignes indiquent que INFRO n'a rien.

LLM GatewayCe que cela y faitDans INFRO
Clés de fournisseur (BYOK)différentVos clés avec modèles autorisés, plafonds de dépenses et limites de débit ; repli hybride sur les crédits.Des connexions avec des modèles par clé ; aucun repli sur le compte de quelqu'un d'autre.
Routage selon le prix, le débit, la latencerienDes identifiants nus et des stratégies routing choisissent un fournisseur.Rien. Les routes fixent l'ordre ou les poids.
`auto`, `smart`, routes dynamiquesdifférentModèle choisi par requête, ou par un flux nommé.Routes, avec un classificateur de prompts qui envoie chaque classe de prompt vers ses propres cibles.
Clés API et règles IAMmême formeLimites de dépenses et autorisation ou refus de modèles ou de fournisseurs par clé.Limites de dépenses par clé, listes d'autorisation et listes de fournisseurs par clé ; budgets à quatre autres niveaux.
Cache de réponses de la passerellemême formeCache de réponses au niveau du projet avec TTL ; x-no-cache pour le contourner.Cache à correspondance exacte, sur option, avec TTL et espace de noms.
En-têtes de métadonnéesdifférentTout en-tête X-LLMGateway-*.metadata dans le corps, ou X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id.
Protocole de passerelle AI SDKrienRemplacement direct pour les applications @ai-sdk/gateway via l'URL de base.Non implémenté. Utilisez le fournisseur OpenAI de l'AI SDK.
Garde-fous, journaux d'audit, SSOmême formeRègles de contenu et événements de sécurité ; journaux d'audit et SSO en Enterprise.Garde-fous, un journal d'audit, et SSO avec SCIM à partir de l'offre Business.
Embeddings, Realtime, OCR, recherchedifférentPris en charge.Les embeddings sur votre connexion OpenAI, Azure OpenAI, Mistral ou compatible OpenAI. Realtime, l'OCR et la recherche ne sont pas servis.
Auto-hébergementdifférentNoyau AGPLv3, Docker et Kubernetes.Hébergé. L'auto-hébergé ou l'hybride relève d'un contrat entreprise.Enterprise — Disponible dans le cadre d'un contrat Enterprise plutôt qu'en libre-service.

Notre lecture de la documentation publiée par LLM Gateway, pas un essai ni un benchmark. Si nous avons mal lu quelque chose, dites-le-nous et nous corrigerons la ligne.

Ce que INFRO ne fait pas

  • Choisir un fournisseur selon le prix, la disponibilité, le débit ou la latence.
  • Implémenter le protocole Vercel AI Gateway.
  • Servir du Realtime, de l'OCR ou de la recherche, ou des embeddings chez des fournisseurs autres qu'OpenAI, Azure OpenAI, Mistral ou un endpoint compatible OpenAI.
  • Se replier sur un compte qui n'est pas le vôtre.
  • Exécuter sous licence open source.

Ce qui n'est pas repris

  • Journaux, analyses et historique des coûts. Il n'y a pas d'outil d'import.
  • Les crédits de votre compte LLM Gateway.
  • Les routes dynamiques et les règles IAM en tant qu'objets. Recréez-les sous forme de routes et de listes d'autorisation.

Questions

INFRO prend-il en charge le protocole Vercel AI Gateway comme LLM Gateway ?
Non. Les applications AI SDK appellent INFRO via @ai-sdk/openai avec une URL de base https://api.infro.io/v1 ; les identifiants de modèles restent les mêmes.
Qui paie les fournisseurs ?
Vous, directement, sur vos propres comptes. INFRO est un abonnement, avec 0 % de majoration sur les dépenses de modèles.
INFRO est-il open source ?
Non. INFRO est hébergé ; un déploiement auto-hébergé ou hybride relève d'un accord Enterprise.

Migrez avec nous, ou seul

Le programme de migration transpose votre configuration LLM Gateway en connexions, routes et budgets INFRO lors d'un appel, et migre le premier service avec vous. Vos fournisseurs continuent de vous facturer directement ; INFRO est un abonnement et ajoute 0 % aux dépenses de modèles.

Essai de 14 jours Réserver une session de migrationLire le démarrage rapide

Sources

Chaque affirmation de cette page sur LLM Gateway provient de l'une de ces sources, lues le 19 octobre 2026. Rien n'est déduit d'un essai, d'un benchmark ou d'une conversation.