Zum Inhalt springen

MigrationsleitfädenVon TrueFoundry

Von TrueFoundry AI Gateway

Das AI Gateway von TrueFoundry läuft wie INFRO auf Anbieterkonten, die Sie registrieren, und ergänzt virtuelle Modelle, Caching, Budgets und Guardrails, konfiguriert über x-tfy-*-Header und Gateway-Richtlinien. Das meiste lässt sich auf INFRO abbilden; die Plattform darum (Modell-Deployment, Agents, Seldon) nicht.

Unabhängig; hat Seldon AI übernommen (2026-06-24); BYOK AI Gateway, SaaS oder in Enterprise selbst gehostet

INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase

Wo die Dinge stehen

Unternehmen

Unabhängig. Es hat am 2026-06-24 die Übernahme von Seldon AI angekündigt.

Letzte Änderungen

Die globale Routing Config wurde am 2026-06-15 zugunsten von Virtual Models entfernt; die tarifbasierte Funktionssperre trat am 2026-09-22 in Kraft (v0.174.0).

Über wessen Konto die Anfrage läuft

Ihre: Kunden registrieren Modellkonten, und die Preisseite von TrueFoundry sagt, es schlage nie Aufschläge auf Tokens auf.

TrueFoundry ist eine Plattform, nicht nur ein Gateway. Bleiben Sie, wenn Sie die Plattform nutzen.

  • Sie deployen und betreiben Ihre eigenen Modelle auf TrueFoundry oder nutzen dessen Agent- und Seldon-Tooling. INFRO routet nur an Modelle; es hostet sie nicht.
  • Sie betreiben das Gateway in Ihrer VPC oder On-Premises. INFRO ist gehostet; selbst gehostet ist eine Enterprise-Vereinbarung.
  • Sie nutzen semantisches Caching, latenz- oder komplexitätsbasiertes Routing oder Budgets auf beliebigen Metadaten.
  • Sie senden Batch- oder Files-API-Traffic über das Gateway.

Die Änderungen, je eine Zeile. Alles, was hier nicht aufgeführt ist, bleibt, wie es ist.

 TrueFoundryINFRO
Basis-URLhttps://gateway.truefoundry.ai oder Ihr selbst gehostetes Gateway.https://api.infro.io/v1
SchlüsselEin Personal Access Token oder ein Virtual Account Token.Ein INFRO-Gateway-Schlüssel pro Dienst; Mitglieder melden sich separat in der Konsole an.
Modell-IDopenai-main/gpt-5.6-terra (Modellkonto / Modell), oder ein virtueller Modellname.openai/gpt-5.6-terra, oder eine Route mit dem Namen des virtuellen Modells.
HeaderX-TFY-METADATA, x-tfy-cache-config, x-tfy-retry-config, x-tfy-request-id.metadata im Body; cache für den Antwort-Cache; Wiederholungen in der Route; X-INFRO-Trace-Id.

Vorher · TrueFoundry

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://gateway.truefoundry.ai",
  apiKey: process.env.TFY_API_KEY,
  defaultHeaders: {
    "X-TFY-METADATA": JSON.stringify({ user_id: "user_123" }),
  },
});

await client.chat.completions.create({
  model: "openai-main/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Nachher · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user_123", tags: { feature: "chat" } },
});

Virtuelle Modelle werden zu Routen

Prioritäts- und gewichtungsbasierte virtuelle Modelle werden auf Prioritäts- und gewichtete Routen abgebildet; fallback_status_codes und retry_config auf die Fehlerregeln der Route.

Modellkonten werden zu Verbindungen

Die Zugangsdaten jedes Modellkontos werden zu einer Verbindung. Mehrere Konten eines Anbieters können in einer Route stehen oder verteilt werden, mit Reserveschlüsseln zuletzt.

Metadaten im Body

X-TFY-METADATA ist ein JSON-Header; metadata von INFRO ist ein Body-Feld mit user_id, session_id und einer tags-Map.

Die Objekte von TrueFoundry gegenüber denen von INFRO, anhand der öffentlichen Dokumentation von TrueFoundry, gelesen am 19. Oktober 2026, und geprüft anhand dessen, was das Gateway implementiert. Zwei Zeilen besagen, dass INFRO nichts hat.

TrueFoundryWas es dort tutIn INFRO
Modellkontengleiche FormRegistrierte Anbieter-Zugangsdaten, Präfix der Modell-ID.Anbieterverbindungen, mehrere Schlüssel pro Anbieter.
PATs und Virtual Account Tokensgleiche FormNutzer- und Dienstzugangsdaten für das Gateway.Gateway-Schlüssel pro Dienst mit Freigabelisten, IP-Bereichen, Umgebungen und Ausgabenlimits.
Virtuelle ModelleandersRouting nach Gewicht, Priorität, Latenz oder Komplexität über Ziele.Prioritäts- und gewichtete Routen, If-Regeln und ein Prompt-Klassifikator. Kein latenzbasiertes Routing.
CachingandersAntwort-Cache für exakte und semantische Treffer.Nur exakte Treffer.
Budget LimitingandersLimits nach Mandant, Team, Nutzer, Modell, virtuellem Konto oder Metadaten; blockieren oder warnen.Budgets nach Organisation, Projekt, Mitglied, Schlüssel und Endkunde; blockieren mit 402 oder warnen an Schwellenwerten. Nicht nach beliebigen Metadaten.
GuardrailsandersBenannte Guardrail-Richtlinien pro Anfrage.Guardrail-Regeln, konfiguriert pro Organisation, Projekt oder Schlüssel.
MCP Gatewaygleiche FormMCP-Server, virtuelle MCP-Server, Tool-Freigabe.Ein MCP-Gateway mit freigegebenen und festgelegten Tools und Zuweisungen pro Schlüssel.
Batch und FilesnichtsÜber das Gateway mit x-tfy-provider-name.Nicht bereitgestellt.
Modell-ServingnichtsEigene Modelle auf der Plattform deployen.Nichts. Verbinden Sie einen selbst gehosteten Modellserver als openai-compatible-Verbindung.

Unsere Lesart der veröffentlichten Dokumentation von TrueFoundry, kein Test und kein Benchmark. Wenn wir etwas falsch gelesen haben, sagen Sie es uns, und wir korrigieren die Zeile.

Was INFRO nicht tut

  • Modelle hosten oder deployen.
  • Semantisches Caching oder latenzbasiertes Routing.
  • Budgets nach beliebigen Anfrage-Metadaten.
  • Batch- und Files-APIs.
  • In Ihrer VPC ohne Enterprise-Vereinbarung betreiben.

Was nicht übernommen wird

  • Anfrageprotokolle und Metriken. Es gibt keinen Importer.
  • Virtuelle Modelle, Budgets und Guardrail-Richtlinien als Objekte. Legen Sie sie neu an.

Fragen

Ist TrueFoundry auch BYOK?
Ja. Beide laufen auf Anbieterkonten, die Sie halten; keiner schlägt Aufschläge auf Tokens auf.
Was ersetzt virtuelle Modelle?
INFRO-Routen: Senden Sie den Namen der Route als model, und ihre Ziele und Fehlerregeln entscheiden, wohin die Anfrage geht.
Was kostet INFRO?
Ein pauschales Abonnement je Tarif, mit 14-tägiger Testphase. Ihre Anbieter rechnen die Modellnutzung direkt mit Ihnen ab.

Wechseln Sie mit uns oder auf eigene Faust

Das Migrationsprogramm überträgt Ihr TrueFoundry-Setup in einem Gespräch auf INFRO-Verbindungen, -Routen und -Budgets und zieht den ersten Dienst gemeinsam mit Ihnen um. Ihre Anbieter rechnen weiterhin direkt mit Ihnen ab; INFRO ist ein Abonnement und schlägt 0 % auf Modellausgaben auf.

14 Tage testen Migrationstermin buchenINFRO vs. TrueFoundryQuickstart lesen

Quellen

Jede Aussage auf dieser Seite über TrueFoundry stammt aus einer dieser Quellen, gelesen am 19. Oktober 2026. Nichts ist aus einem Test, einem Benchmark oder einem Gespräch abgeleitet.