Aller au contenu

Guides de migrationDepuis TrueFoundry

Depuis TrueFoundry AI Gateway

L'AI Gateway de TrueFoundry s'exécute sur des comptes fournisseurs que vous enregistrez, comme INFRO, et ajoute des modèles virtuels, du cache, des budgets et des garde-fous, configurés par des en-têtes x-tfy-* et des politiques de passerelle. L'essentiel correspond à INFRO ; la plateforme autour (déploiement de modèles, agents, Seldon) non.

Indépendant ; a acquis Seldon AI (2026-06-24) ; AI Gateway BYOK, SaaS ou auto-hébergé en Enterprise

Les comptes INFRO sont en libre-service. Le catalogue, la documentation et le contrat d'API sont publics, la passerelle est déployée, et tout ce qui va au-delà de la v1 est marqué Plus tard. Offres et essai

Où en sont les choses

Entreprise

Indépendant. Il a annoncé l'acquisition de Seldon AI le 2026-06-24.

Changements récents

La Routing Config globale a été supprimée le 2026-06-15 au profit des modèles virtuels ; l'activation des fonctionnalités selon l'offre a pris effet le 2026-09-22 (v0.174.0).

Le compte de qui sert la requête

Vous : les clients enregistrent des comptes de modèles, et la page de tarifs de TrueFoundry indique qu'il ne majore jamais les tokens.

TrueFoundry est une plateforme, pas seulement une passerelle. Restez si vous utilisez la plateforme.

  • Vous déployez et servez vos propres modèles sur TrueFoundry, ou utilisez ses outils d'agents et Seldon. INFRO ne route que vers des modèles ; il ne les héberge pas.
  • Vous exploitez la passerelle dans votre VPC ou sur site. INFRO est hébergé ; l'auto-hébergement relève d'un accord Enterprise.
  • Vous utilisez le cache sémantique, le routage selon la latence ou la complexité, ou des budgets indexés sur des métadonnées arbitraires.
  • Vous envoyez du trafic Batch ou Files API par la passerelle.

Les modifications, une ligne chacune. Tout ce qui n'est pas listé ici reste tel quel.

 TrueFoundryINFRO
URL de basehttps://gateway.truefoundry.ai ou votre passerelle auto-hébergée.https://api.infro.io/v1
CléUn Personal Access Token ou un Virtual Account Token.Une clé de passerelle INFRO par service ; les membres se connectent à la console séparément.
ID du modèleopenai-main/gpt-5.6-terra (compte de modèle / modèle), ou un nom de modèle virtuel.openai/gpt-5.6-terra, ou une route nommée comme le modèle virtuel.
En-têtesX-TFY-METADATA, x-tfy-cache-config, x-tfy-retry-config, x-tfy-request-id.metadata dans le corps ; cache pour le cache de réponses ; nouvelles tentatives sur la route ; X-INFRO-Trace-Id.

Avant · TrueFoundry

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://gateway.truefoundry.ai",
  apiKey: process.env.TFY_API_KEY,
  defaultHeaders: {
    "X-TFY-METADATA": JSON.stringify({ user_id: "user_123" }),
  },
});

await client.chat.completions.create({
  model: "openai-main/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Après · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user_123", tags: { feature: "chat" } },
});

Les modèles virtuels deviennent des routes

Les modèles virtuels par priorité et par poids correspondent à des routes par priorité et pondérées ; fallback_status_codes et retry_config correspondent aux règles d'échec de la route.

Les comptes de modèles deviennent des connexions

L'identifiant de chaque compte de modèle devient une connexion. Plusieurs comptes d'un même fournisseur peuvent figurer dans une même route, ou être répartis avec les clés de secours en dernier.

Métadonnées dans le corps

X-TFY-METADATA est un en-tête JSON ; le metadata d'INFRO est un champ du corps avec user_id, session_id et une table tags.

Les objets de TrueFoundry face à ceux de INFRO, d'après la documentation publique de TrueFoundry lue le 19 octobre 2026 et vérifiés par rapport à ce que la passerelle implémente. Deux lignes indiquent que INFRO n'a rien.

TrueFoundryCe que cela y faitDans INFRO
Comptes de modèlesmême formeIdentifiants de fournisseur enregistrés, préfixe de l'identifiant de modèle.Connexions aux fournisseurs, plusieurs clés par fournisseur.
PAT et jetons de compte virtuelmême formeIdentifiants d'utilisateur et de service pour la passerelle.Des clés de passerelle par service avec listes d'autorisation, plages IP, environnements et limites de dépenses.
Modèles virtuelsdifférentRoutage par poids, priorité, latence ou complexité sur des cibles.Routes par priorité et pondérées, règles conditionnelles et classificateur de prompts. Pas de routage selon la latence.
CachedifférentCache de réponses à correspondance exacte et sémantique.Correspondance exacte uniquement.
Budget LimitingdifférentPlafonds par tenant, équipe, utilisateur, modèle, compte virtuel ou métadonnées ; blocage ou avertissement.Budgets par organisation, projet, membre, clé et client final ; blocage avec 402 ou alerte à des seuils. Pas selon des métadonnées arbitraires.
Garde-fousdifférentPolitiques de garde-fous nommées, par requête.Règles de garde-fous configurées par organisation, projet ou clé.
MCP Gatewaymême formeServeurs MCP, serveurs MCP virtuels, approbation des outils.Une passerelle MCP avec des outils approuvés et épinglés et des autorisations par clé.
Batch et FilesrienVia la passerelle avec x-tfy-provider-name.Non pris en charge.
Hébergement de modèlesrienDéployer vos propres modèles sur la plateforme.Rien. Connectez un serveur de modèles auto-hébergé comme connexion openai-compatible.

Notre lecture de la documentation publiée par TrueFoundry, pas un essai ni un benchmark. Si nous avons mal lu quelque chose, dites-le-nous et nous corrigerons la ligne.

Ce que INFRO ne fait pas

  • Héberger ou déployer des modèles.
  • Cache sémantique, ou routage selon la latence.
  • Budgets indexés sur des métadonnées de requête arbitraires.
  • API Batch et Files.
  • Exécuter dans votre VPC sans accord Enterprise.

Ce qui n'est pas repris

  • Journaux et métriques de requêtes. Il n'y a pas d'outil d'import.
  • Modèles virtuels, budgets et politiques de garde-fous sous forme d'objets. Recréez-les.

Questions

TrueFoundry est-il aussi en BYOK ?
Oui. Les deux s'exécutent sur des comptes fournisseurs que vous détenez ; aucun des deux ne majore les tokens.
Qu'est-ce qui remplace les modèles virtuels ?
Les routes INFRO : envoyez le nom de la route comme model, et ses cibles et règles d'échec décident où va la requête.
Combien coûte INFRO ?
Un abonnement forfaitaire par offre, avec un essai de 14 jours. Vos fournisseurs vous facturent directement l'usage des modèles.

Migrez avec nous, ou seul

Le programme de migration transpose votre configuration TrueFoundry en connexions, routes et budgets INFRO lors d'un appel, et migre le premier service avec vous. Vos fournisseurs continuent de vous facturer directement ; INFRO est un abonnement et ajoute 0 % aux dépenses de modèles.

Essai de 14 jours Réserver une session de migrationINFRO vs TrueFoundryLire le démarrage rapide

Sources

Chaque affirmation de cette page sur TrueFoundry provient de l'une de ces sources, lues le 19 octobre 2026. Rien n'est déduit d'un essai, d'un benchmark ou d'une conversation.