Naar de inhoud

MigratiegidsenVanaf LLM Gateway

Vanaf LLM Gateway, met behoud van je eigen providersleutels

LLM Gateway (llmgateway.io) draait op eigen providertoegang betaald uit credits, op je eigen providersleutels, of op beide met een fallback van jouw sleutels naar credits. Teams in de BYOK-modus zitten al het dichtst bij INFRO. Deze pagina brengt die modus in kaart en zegt eerlijk wat INFRO niet doet.

llmgateway.io; AGPLv3-kern met een gelicentieerde `ee/`-editie; gehost of zelf gehost

INFRO-accounts zijn selfservice. De catalogus, de documentatie en het API-contract zijn openbaar, de gateway is uitgerold, en alles na v1 is gemarkeerd als Later. Plannen en proefperiode

Hoe het ervoor staat

Licentie

theopenco/llmgateway is in de kern AGPLv3, met commerciële functies onder een aparte Enterprise-licentie in ee/. Het wordt gehost op api.llmgateway.io en kan zelf worden gehost.

Wiens account het verzoek bedient

Eigen providertoegang op vooruitbetaalde credits, je providersleutels (zonder gateway-opslag, volgens de documentatie), of een hybride vorm die van je sleutels terugvalt op credits.

Meer dan een gateway

De documentatie behandelt ook codingplannen, een chatapp, een providerportaal, een betalings-SDK, beslissingen en een System One-endpoint. Die horen niet bij deze mapping.

Het is open source en breed. Blijf als je het voor een van deze dingen gebruikt.

  • Je host zelf onder de AGPL. INFRO is gehost; zelf gehost of hybride is een enterprise-overeenkomst.
  • Je gebruikt kale model-ID's zodat het een provider kiest op prijs, uptime, doorvoer of latentie, of auto- en smart-modelkeuze. INFRO kiest niet op prijs of snelheid.
  • Je AI SDK-app gebruikt het protocolendpoint van de AI Gateway en je wilt overstappen met alleen een andere basis-URL. INFRO implementeert dat protocol niet.
  • Je gebruikt Realtime, OCR of zoeken ermee, embeddings van andere providers dan OpenAI, Azure OpenAI of Mistral, of wilt toegang tot modellen zonder eigen provideraccounts.

De wijzigingen, één rij per wijziging. Alles wat hier niet staat, blijft zoals het is.

 LLM GatewayINFRO
Basis-URLhttps://api.llmgateway.io/v1, of /v1/ai voor het AI SDK-gatewayprotocol.https://api.infro.io/v1
SleutelEen LLM Gateway-sleutel.Een INFRO-gatewaysleutel; je providersleutels worden verbindingen.
Model-IDgpt-5.6-terra (gateway kiest), openai/gpt-5.6-terra (vastgepind), auto, dynamic/<name>.openai/gpt-5.6-terra, of een routenaam in plaats van dynamic/<name>.
HeadersX-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id, X-INFRO-Feature; routing.providers om een verzoek op één provider te houden.

Voor · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Na · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

AI SDK-apps

Vervang de gatewayprovider door createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey }) uit @ai-sdk/openai en roep .chat(modelId) aan. Model-ID's blijven vendor/model.

Failover staat standaard aan

Een verzoek dat een model noemt, schakelt over tussen je verbindingen die dat model aanbieden. routing.providers.allow houdt het bij gekozen providers, zoals X-No-Fallback of een vastgepind ID deed.

Dynamische routes worden routes

Maak elke dynamic/<name>-flow opnieuw aan als route met dezelfde doelen; een promptclassifier dekt routering op prompttype.

De objecten van LLM Gateway tegenover die van INFRO, op basis van de openbare documentatie van LLM Gateway gelezen op 19 oktober 2026 en getoetst aan wat de gateway implementeert. Twee rijen zeggen dat INFRO niets heeft.

LLM GatewayWat het daar doetIn INFRO
Providersleutels (BYOK)andersJe sleutels met toegestane modellen, uitgavenplafonds en ratelimieten; hybride fallback naar credits.Verbindingen met modellen per sleutel; geen fallback naar het account van iemand anders.
Routering op prijs, doorvoer, latentienietsKale ID's en routing-strategieën kiezen een provider.Niets. Routes bepalen de volgorde of gewichten.
`auto`, `smart`, dynamic routesandersModel gekozen per verzoek, of door een benoemde flow.Routes, met een promptclassifier die elke promptklasse naar eigen doelen stuurt.
API-sleutels en IAM-regelszelfde vormUitgavenlimieten en toestaan of weigeren van modellen of providers per sleutel.Uitgavenlimieten, allowlists en providerlijsten per sleutel; budgetten op nog vier niveaus.
Responscaching in de gatewayzelfde vormResponscache op projectniveau met een TTL; x-no-cache om over te slaan.Opt-in cache met exacte overeenkomst, met een TTL en namespace.
Metadata-headersandersElke header X-LLMGateway-*.metadata in de body, of X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id.
AI SDK-gatewayprotocolnietsDirect inzetbaar voor @ai-sdk/gateway-apps via de basis-URL.Niet geïmplementeerd. Gebruik de OpenAI-provider van de AI SDK.
Guardrails, auditlogs, SSOzelfde vormContentregels en security-events; auditlogs en SSO op Enterprise.Guardrails, een auditlog, en SSO met SCIM vanaf het Business-plan.
Embeddings, Realtime, OCR, zoekenandersBediend.Embeddings op je OpenAI-, Azure OpenAI-, Mistral- of OpenAI-compatibele verbinding. Realtime, OCR en zoeken worden niet aangeboden.
Zelf hostenandersAGPLv3-kern, Docker en Kubernetes.Gehost. Zelf gehost of hybride is een enterprise-overeenkomst.Enterprise — Beschikbaar via een enterprise-overeenkomst, niet via selfservice.

Onze lezing van de gepubliceerde documentatie van LLM Gateway, geen proefperiode of benchmark. Als we iets verkeerd hebben gelezen, laat het ons weten en we passen de rij aan.

Wat INFRO niet doet

  • Een provider kiezen op prijs, uptime, doorvoer of latency.
  • Het Vercel AI Gateway-protocol implementeren.
  • Realtime, OCR of zoeken bedienen, of embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint.
  • Terugvallen op een account dat niet van jou is.
  • Draaien onder een open-sourcelicentie.

Wat niet meekomt

  • Logs, analytics en kostengeschiedenis. Er is geen importfunctie.
  • Credits op je LLM Gateway-account.
  • Dynamische routes en IAM-regels als objecten. Bouw ze opnieuw als routes en allowlists.

Vragen

Ondersteunt INFRO het Vercel AI Gateway-protocol zoals LLM Gateway?
Nee. AI SDK-apps roepen INFRO aan via @ai-sdk/openai met een basis-URL van https://api.infro.io/v1; model-ID's blijven hetzelfde.
Wie betaalt de providers?
Jij, rechtstreeks, op je eigen accounts. INFRO is een abonnement met 0% opslag op modeluitgaven.
Is INFRO open source?
Nee. INFRO is gehost; een zelf gehoste of hybride deployment is een enterprise-overeenkomst.

Overstappen met ons, of zelf

Het migratieprogramma brengt je LLM Gateway-setup in een gesprek in kaart naar INFRO-verbindingen, -routes en -budgetten en verhuist de eerste service samen met je. Je providers blijven je rechtstreeks factureren; INFRO is een abonnement en voegt 0% toe aan modeluitgaven.

Probeer 14 dagen Plan een migratiesessieLees de quickstart

Bronnen

Elke uitspraak op deze pagina over LLM Gateway komt uit een van deze bronnen, gelezen op 19 oktober 2026. Niets is afgeleid uit een proefperiode, een benchmark of een gesprek.