Vai al contenuto

Guide alla migrazioneDa TrueFoundry

Da TrueFoundry AI Gateway

L'AI Gateway di TrueFoundry funziona sugli account provider che registri, come INFRO, e aggiunge modelli virtuali, caching, budget e guardrail, configurati con header x-tfy-* e policy del gateway. Gran parte corrisponde a INFRO; la piattaforma che lo circonda (deployment di modelli, agenti, Seldon) no.

Indipendente; ha acquisito Seldon AI (2026-06-24); AI Gateway BYOK, SaaS o self-hosted su Enterprise

Gli account INFRO sono self-service. Il catalogo, la documentazione e il contratto dell'API sono pubblici, il gateway è in produzione e tutto ciò che va oltre la v1 è indicato come "Più avanti". Piani e prova

A che punto siamo

Azienda

Indipendente. Ha annunciato l'acquisizione di Seldon AI il 2026-06-24.

Modifiche recenti

Il Routing Config globale è stato rimosso il 2026-06-15 a favore dei Virtual Models; la limitazione delle funzioni in base al piano è entrata in vigore il 2026-09-22 (v0.174.0).

Su quale account viene servita la richiesta

Tue: i clienti registrano gli account dei modelli e la pagina dei prezzi di TrueFoundry dice che non applica mai un ricarico ai token.

TrueFoundry è una piattaforma, non solo un gateway. Resta se usi la piattaforma.

  • Distribuisci e servi i tuoi modelli su TrueFoundry, oppure usi i suoi strumenti per agenti e Seldon. INFRO instrada solo verso i modelli; non li ospita.
  • Gestisci il gateway nella tua VPC o on-premises. INFRO è ospitato; il self-hosted è un accordo enterprise.
  • Usi la cache semantica, il routing basato su latenza o complessità, oppure budget basati su metadati arbitrari.
  • Invii traffico Batch o Files API attraverso il gateway.

Le modifiche, una riga ciascuna. Tutto ciò che non è elencato qui resta com'è.

 TrueFoundryINFRO
URL di basehttps://gateway.truefoundry.ai o il tuo gateway self-hosted.https://api.infro.io/v1
ChiaveUn Personal Access Token o un Virtual Account Token.Una chiave del gateway INFRO per servizio; i membri accedono alla console separatamente.
Id del modelloopenai-main/gpt-5.6-terra (account del modello / modello), oppure il nome di un modello virtuale.openai/gpt-5.6-terra, oppure una route con lo stesso nome del modello virtuale.
HeaderX-TFY-METADATA, x-tfy-cache-config, x-tfy-retry-config, x-tfy-request-id.metadata nel corpo; cache per la cache delle risposte; tentativi sulla route; X-INFRO-Trace-Id.

Prima · TrueFoundry

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://gateway.truefoundry.ai",
  apiKey: process.env.TFY_API_KEY,
  defaultHeaders: {
    "X-TFY-METADATA": JSON.stringify({ user_id: "user_123" }),
  },
});

await client.chat.completions.create({
  model: "openai-main/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Dopo · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user_123", tags: { feature: "chat" } },
});

I modelli virtuali diventano route

I modelli virtuali basati su priorità e su peso corrispondono a route per priorità e ponderate; fallback_status_codes e retry_config corrispondono alle regole di errore della route.

Gli account dei modelli diventano connessioni

La credenziale di ogni account del modello diventa una connessione. Più account dello stesso provider possono stare in una route, o essere distribuiti con le chiavi di riserva per ultime.

Metadati nel corpo

X-TFY-METADATA è un header JSON; metadata di INFRO è un campo del corpo con user_id, session_id e una mappa tags.

Gli oggetti di TrueFoundry a confronto con quelli di INFRO, dalla documentazione pubblica di TrueFoundry letta il 19 ottobre 2026 e verificati con ciò che il gateway implementa. Due righe dicono che INFRO non ha nulla.

TrueFoundryCosa fa lìIn INFRO
Account dei modellistessa formaCredenziali provider registrate, prefisso dell'id del modello.Connessioni ai provider, più chiavi per provider.
PAT e Virtual Account Tokenstessa formaCredenziali utente e di servizio per il gateway.Chiavi del gateway per servizio con liste di autorizzazione, intervalli IP, ambienti e limiti di spesa.
Modelli virtualidiversoRouting per peso, priorità, latenza o complessità sulle destinazioni.Route per priorità e ponderate, regole if e un classificatore di prompt. Nessun routing basato sulla latenza.
CachingdiversoCache delle risposte a corrispondenza esatta e semantica.Solo a corrispondenza esatta.
Budget LimitingdiversoTetti per tenant, team, utente, modello, account virtuale o metadati; blocco o avviso.Budget per organizzazione, progetto, membro, chiave e cliente finale; blocco con 402 o avviso alle soglie. Non per metadati arbitrari.
GuardraildiversoPolicy di guardrail con nome per richiesta.Regole di guardrail configurate per organizzazione, progetto o chiave.
MCP Gatewaystessa formaServer MCP, server MCP virtuali, approvazione degli strumenti.Un gateway MCP con strumenti approvati e fissati e autorizzazioni per chiave.
Batch e FilesnienteTramite il gateway con x-tfy-provider-name.Non servito.
Erogazione dei modellinienteDistribuire i tuoi modelli sulla piattaforma.Nulla. Collega un server di modelli self-hosted come connessione openai-compatible.

È la nostra lettura della documentazione pubblicata da TrueFoundry, non una prova o un benchmark. Se abbiamo letto male qualcosa, diccelo e correggeremo la riga.

Cosa non fa INFRO

  • Ospitare o distribuire modelli.
  • Cache semantica, o routing basato sulla latenza.
  • Budget basati su metadati arbitrari della richiesta.
  • API Batch e Files.
  • Funzionare nella tua VPC senza un accordo enterprise.

Cosa non si porta con sé

  • Log e metriche delle richieste. Non esiste un importatore.
  • Modelli virtuali, budget e policy di guardrail come oggetti. Ricreali.

Domande

Anche TrueFoundry è BYOK?
Sì. Entrambi funzionano sugli account provider che possiedi; nessuno applica un ricarico ai token.
Cosa sostituisce i modelli virtuali?
Route INFRO: invia il nome della route come model, e le sue destinazioni e regole di errore decidono dove va la richiesta.
Quanto costa INFRO?
Un abbonamento fisso per piano, con una prova di 14 giorni. I tuoi provider ti fatturano direttamente l'uso dei modelli.

Migra con noi, o da solo

Il programma di migrazione mappa in una call la tua configurazione TrueFoundry su connessioni, route e budget di INFRO e migra con te il primo servizio. I tuoi provider continuano a fatturarti direttamente; INFRO è un abbonamento e aggiunge 0% alla spesa per i modelli.

Prova di 14 giorni Prenota una sessione di migrazioneINFRO vs TrueFoundryLeggi il quickstart

Fonti

Ogni affermazione su TrueFoundry in questa pagina proviene da una di queste fonti, lette il 19 ottobre 2026. Nulla è dedotto da una prova, un benchmark o una conversazione.