Vai al contenuto

Guide alla migrazioneDa LLM Gateway

Da LLM Gateway, mantenendo le tue chiavi dei provider

LLM Gateway (llmgateway.io) gira su un proprio accesso ai provider pagato con crediti, sulle tue chiavi dei provider, o su entrambi con fallback dalle tue chiavi ai crediti. I team in modalità BYOK sono già i più vicini a INFRO. Questa pagina descrive la corrispondenza di quella modalità, e dice chiaramente cosa INFRO non fa.

llmgateway.io; nucleo AGPLv3 con un'edizione `ee/` con licenza; ospitato o self-hosted

Gli account INFRO sono self-service. Il catalogo, la documentazione e il contratto dell'API sono pubblici, il gateway è in produzione e tutto ciò che va oltre la v1 è indicato come "Più avanti". Piani e prova

A che punto siamo

Licenza

theopenco/llmgateway è AGPLv3 nel nucleo, con funzioni commerciali sotto una licenza Enterprise separata in ee/. È ospitato su api.llmgateway.io e può essere ospitato in proprio.

Su quale account viene servita la richiesta

Un proprio accesso ai provider con crediti prepagati, le tue chiavi dei provider (senza ricarico del gateway, secondo la sua documentazione), o una modalità ibrida che ripiega dalle tue chiavi ai crediti.

Oltre un gateway

La sua documentazione copre anche piani di coding, un'app di chat, un portale per i provider, un SDK per i pagamenti, decisioni e un endpoint System One. Questi non fanno parte di questa corrispondenza.

È open source e ampio. Resta se lo usi per uno di questi scopi.

  • Fai self-hosting con licenza AGPL. INFRO è ospitato; il self-hosted o ibrido è un accordo enterprise.
  • Usi id di modello senza prefisso così che scelga un provider per prezzo, uptime, throughput o latenza, oppure la selezione di modelli auto e smart. INFRO non sceglie per prezzo o velocità.
  • La tua app AI SDK usa l'endpoint del protocollo AI Gateway e vuoi un passaggio con il solo URL di base. INFRO non implementa quel protocollo.
  • Lo usi per Realtime, OCR o ricerca, per embedding di provider diversi da OpenAI, Azure OpenAI o Mistral, oppure vuoi l'accesso ai modelli senza propri account provider.

Le modifiche, una riga ciascuna. Tutto ciò che non è elencato qui resta com'è.

 LLM GatewayINFRO
URL di basehttps://api.llmgateway.io/v1, oppure /v1/ai per il protocollo del gateway AI SDK.https://api.infro.io/v1
ChiaveUna chiave LLM Gateway.Una chiave del gateway INFRO; le tue chiavi dei provider diventano connessioni.
Id del modellogpt-5.6-terra (sceglie il gateway), openai/gpt-5.6-terra (fissato), auto, dynamic/<name>.openai/gpt-5.6-terra, oppure il nome di una route al posto di dynamic/<name>.
HeaderX-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id, X-INFRO-Feature; routing.providers per tenere una richiesta su un solo provider.

Prima · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Dopo · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

App con AI SDK

Sostituisci il provider del gateway con createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey }) da @ai-sdk/openai e chiama .chat(modelId). Gli id dei modelli restano vendor/model.

Il failover è attivo per impostazione predefinita

Una richiesta che indica un modello passa in failover tra le tue connessioni che lo servono. routing.providers.allow la mantiene sui provider scelti, come facevano X-No-Fallback o un id vincolato.

Le route dinamiche diventano route

Ricrea ogni flusso dynamic/<name> come route con le stesse destinazioni; un classificatore di prompt copre il routing per tipo di prompt.

Gli oggetti di LLM Gateway a confronto con quelli di INFRO, dalla documentazione pubblica di LLM Gateway letta il 19 ottobre 2026 e verificati con ciò che il gateway implementa. Due righe dicono che INFRO non ha nulla.

LLM GatewayCosa fa lìIn INFRO
Chiavi provider (BYOK)diversoLe tue chiavi con modelli consentiti, tetti di spesa e limiti di frequenza; fallback ibrido sui crediti.Connessioni con modelli per chiave; nessun fallback sull'account di qualcun altro.
Routing per prezzo, throughput, latenzanienteId senza prefisso e strategie di routing scelgono un provider.Nulla. Le route stabiliscono l'ordine o i pesi.
`auto`, `smart`, route dinamichediversoModello scelto per richiesta, oppure da un flusso con nome.Route, con un classificatore di prompt che invia ogni classe di prompt alle proprie destinazioni.
Chiavi API e regole IAMstessa formaLimiti di spesa e consenti o nega modelli o provider per chiave.Limiti di spesa per chiave, liste di autorizzazione ed elenchi di provider per chiave; budget su altri quattro livelli.
Caching delle risposte nel gatewaystessa formaCache delle risposte a livello di progetto con TTL; x-no-cache per ignorarla.Cache a corrispondenza esatta da attivare, con TTL e namespace.
Header di metadatidiversoQualsiasi header X-LLMGateway-*.metadata nel corpo, oppure X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id.
Protocollo gateway dell'AI SDKnienteSostituzione diretta per le app @ai-sdk/gateway tramite URL di base.Non implementato. Usa il provider OpenAI dell'AI SDK.
Guardrail, log di audit, SSOstessa formaRegole sui contenuti ed eventi di sicurezza; log di audit e SSO su Enterprise.Guardrail, un log di audit e SSO con SCIM dal piano Business.
Embedding, Realtime, OCR, ricercadiversoServito.Embedding sulla tua connessione OpenAI, Azure OpenAI, Mistral o compatibile con OpenAI. Realtime, OCR e ricerca non sono serviti.
Self-hostingdiversoCore AGPLv3, Docker e Kubernetes.Hosted. Self-hosted o ibrido è un accordo enterprise.Enterprise — Disponibile con un contratto enterprise anziché in self-service.

È la nostra lettura della documentazione pubblicata da LLM Gateway, non una prova o un benchmark. Se abbiamo letto male qualcosa, diccelo e correggeremo la riga.

Cosa non fa INFRO

  • Scegliere un provider in base a prezzo, uptime, throughput o latenza.
  • Implementare il protocollo Vercel AI Gateway.
  • Servire Realtime, OCR o ricerca, oppure embedding su provider diversi da OpenAI, Azure OpenAI, Mistral o un endpoint compatibile con OpenAI.
  • Ripiegare su un account che non è tuo.
  • Funzionare con una licenza open source.

Cosa non si porta con sé

  • Log, analytics e storico dei costi. Non c'è uno strumento di importazione.
  • Crediti sul tuo account LLM Gateway.
  • Route dinamiche e regole IAM come oggetti. Ricreale come route e liste di autorizzazione.

Domande

INFRO supporta il protocollo Vercel AI Gateway come LLM Gateway?
No. Le app AI SDK chiamano INFRO tramite @ai-sdk/openai con un URL di base https://api.infro.io/v1; gli id dei modelli restano gli stessi.
Chi paga i provider?
Tu, direttamente, sui tuoi account. INFRO è un abbonamento con ricarico dello 0% sulla spesa per i modelli.
INFRO è open source?
No. INFRO è ospitato; un deployment self-hosted o ibrido è un accordo enterprise.

Migra con noi, o da solo

Il programma di migrazione mappa in una call la tua configurazione LLM Gateway su connessioni, route e budget di INFRO e migra con te il primo servizio. I tuoi provider continuano a fatturarti direttamente; INFRO è un abbonamento e aggiunge 0% alla spesa per i modelli.

Prova di 14 giorni Prenota una sessione di migrazioneLeggi il quickstart

Fonti

Ogni affermazione su LLM Gateway in questa pagina proviene da una di queste fonti, lette il 19 ottobre 2026. Nulla è dedotto da una prova, un benchmark o una conversazione.