Voir chaque exécution, entendre chaque lecteur, versionner chaque prompt.
La passerelle par laquelle vos requêtes passent déjà les enregistre comme des exécutions avec leur coût fournisseur estimé, reçoit des scores et des retours des utilisateurs finaux à leur sujet, et remplit les prompts gérés avant ses propres contrôles. Une seule intégration, sur vos propres comptes fournisseurs.
Les comptes INFRO sont en libre-service. Le catalogue, la documentation et le contrat d'API sont publics, la passerelle est déployée, et tout ce qui va au-delà de la v1 est marqué Plus tard. Offres et essai
Exécutions
Un tour d'agent, une réponse de récupération ou un pipeline de documents, ce sont plusieurs appels de modèles. Envoyez un même identifiant de trace avec chacun d'eux et INFRO les liste comme une seule exécution, avec ce que l'exécution vous a coûté chez votre fournisseur : la question devient alors quelle exécution et quelle étape.
Une ligne par exécution
Les requêtes qui partagent un identifiant de trace et un workflow forment une exécution : ses requêtes, erreurs, durée, modèles, coût fournisseur estimé, scores et versions de prompts.
Trouver l'exécution qui compte
Filtrez par workflow, modèle, utilisateur final ou erreurs, et triez par coût ou durée sur une fenêtre de 31 jours au plus.
Puis chaque étape
Ouvrez une exécution dans la console, ou appelez l'endpoint de trace, pour obtenir ses requêtes dans l'ordre avec le coût de chaque étape.
Un en-tête sur chaque appel.
Une requête sans identifiant de trace n'appartient à aucune exécution. Les exécutions sont regroupées par workflow et identifiant de trace ensemble, car les identifiants de trace sont les vôtres et deux workflows peuvent réutiliser le même.
Une exécution couvre les appels de modèles passés par INFRO, et le dit dans chaque réponse. Le contrat complet se trouve dans Exécutions.
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"Scores et retours
Les scores de votre code, des moniteurs d'évaluation, de votre équipe et des personnes qui lisent vos réponses arrivent sur la même requête, la même exécution et la même version de prompt. Les scores ne sont pas des requêtes de passerelle et ne comptent pas dans le quota de requêtes de votre offre.
Les retours des personnes qui lisent la réponse
Chaque réponse réussie porte un jeton signé. La page qui affiche la réponse l'envoie avec un pouce levé ou baissé, sans clé API dans le navigateur.
Des scores depuis votre code
Un nombre, un oui ou non, ou une étiquette, sur une requête ou sur une exécution entière, avec un commentaire facultatif.
Des moniteurs d'évaluation et de votre équipe
Les moniteurs d'évaluation notent une part des réponses servies, et les membres notent une requête depuis la console. Chaque score figure sur la requête, son exécution et sa version de prompt.
Le jeton est la seule autorisation.
L'endpoint de retours n'exige aucune clé API et accepte toute origine. Un jeton désigne une requête, peut noter cette requête et rien d'autre, et expire au bout de sept jours.
Le relais du jeton depuis votre propre serveur, les limites et la rétention sont décrits dans Scores et retours.
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});Gestion des prompts
Conservez les prompts sous forme de versions numérotées avec des étiquettes, et nommez-en un sur une chat completion. La version passe par la même liste d'autorisation, les mêmes garde-fous et le même budget que toute requête, car la passerelle la remplit avant eux, et la version est enregistrée sur la requête.
Des versions qui ne changent jamais
Une version contient des messages avec des variables, et peut porter un modèle et des réglages par défaut. Une modification est une nouvelle version.
Rempli avant les contrôles
La passerelle remplit la version avant le routage, les listes d'autorisation de modèles, les garde-fous et le contrôle de dépenses, si bien que chacun lit les messages finaux.
Production déplacée par une personne
Les étiquettes comme staging se déplacent depuis le code. L'étiquette protégée production est déplacée par un propriétaire ou un administrateur dans la console, et chaque déplacement figure au journal d'audit.
Le bilan de chaque version
Requêtes, taux d'erreur, latence p50 et p95, coût fournisseur estimé par requête, score moyen et part des retours, sur la fenêtre que vous choisissez.
Revenir en arrière en déplaçant l'étiquette
Pointez production vers la version précédente. Les requêtes l'utilisent en moins de cinq secondes, sans déploiement.
Un champ ou un en-tête
Nommez le prompt dans le corps de la requête avec ses variables, ou dans un en-tête pour un client qui ne peut pas ajouter de champ.
Nommez le prompt ; la passerelle fait le reste.
La réponse indique quelle version a répondu. Les prompts sont résolus sur les chat completions, et sur les requêtes Messages et Responses des agents de code. Un prompt que votre application récupère et envoie directement à un fournisseur n'est pas contrôlé par la passerelle, et la réponse le dit.
Les étiquettes, les variables, les étiquettes protégées et l'API de gestion sont décrites dans Gestion des prompts.
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'Évaluateurs
Rédigez une grille, choisissez n'importe quel modèle de chat que vous avez connecté, et INFRO lui fait juger des réponses via la passerelle : un échantillon du trafic réel, ou des requêtes passées à la demande. Chaque verdict arrive comme score sur la requête jugée.
Votre grille, n'importe quel modèle de chat
Une grille avec la question, la réponse et, dans les expériences, la sortie attendue. Le juge renvoie un nombre, un succès ou un échec, ou l'une de vos catégories.
En direct, dans une limite mensuelle
Jugez une part des réponses servies, filtrée par projet, modèle, version de prompt ou workflow. Le jugement en direct est suspendu pour le mois quand la limite de dépenses de l'évaluateur est atteinte.
Ou des requêtes passées, à la demande
Jugez jusqu'à 1 000 requêtes journalisées en arrière-plan, avec d'abord le nombre de requêtes et le coût fournisseur estimé, et un plafond de dépenses auquel le traitement s'arrête.
Un appel de juge est une requête comme les autres.
Il s'exécute sur votre compte fournisseur et vous est facturé par ce fournisseur. Un appel de juge en direct s'exécute avec la clé qui a fait la requête jugée : l'accès aux modèles, les garde-fous et les budgets de cette clé s'appliquent donc, et il démarre après l'envoi de la réponse, sans jamais la ralentir ni la modifier. Chaque appel de juge compte dans le quota de requêtes de votre offre.
Les espaces réservés, les types de sortie et les échecs sont décrits dans Évaluateurs.
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'Jeux de données et expériences
Constituez un jeu de données à partir des requêtes déjà journalisées, rejouez-le via la passerelle sur plusieurs modèles, versions de prompt et paramètres, et comparez le score et le coût de chacun, avec une estimation préalable et un plafond.
Depuis votre trafic en un clic
Ajoutez une requête journalisée, ou chaque requête affichée par les filtres actuels (jusqu'à 1 000), avec sa réponse comme sortie attendue si vous le souhaitez.
Ou importé
JSONL ou CSV jusqu'à 5 MB, ou des éléments envoyés depuis le code. Un problème indique la ligne concernée.
Conservé jusqu'à ce que vous le supprimiez
Des éléments que vous avez choisi de conserver, indépendants de la rétention de votre journal des requêtes, et supprimés avec le jeu de données, son projet ou votre organisation.
Jusqu'à six variantes
Un modèle ou une route, une version de prompt et des paramètres par variante. Chaque réponse est jugée par jusqu'à cinq évaluateurs et comparée sur les scores, le taux d'erreur, la latence et le coût estimé par élément.
D'abord une estimation, puis un plafond
Le nombre de requêtes, le coût fournisseur estimé et la part de votre quota de requêtes avant toute exécution. Un plafond de dépenses au moins égal à l'estimation est requis, et l'exécution s'y arrête.
Par les mêmes contrôles
Chaque appel est une requête de passerelle sur vos propres fournisseurs : l'accès aux modèles, les garde-fous, l'environnement et les limites de dépenses s'appliquent.
Rien ne s'exécute tant que vous n'avez pas fixé le plafond.
Un modèle sans tarif connu est affiché « sans tarif » et l'expérience ne peut pas démarrer, car ses dépenses ne pourraient pas être tenues sous le plafond. Les verdicts des juges de l'expérience restent avec l'expérience, si bien qu'un test ne modifie jamais un score de production.
Les variantes, les motifs d'arrêt et la comparaison sont décrits dans Expériences ; la constitution et l'import des éléments dans Jeux de données.
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'Règles de retour arrière
Une règle surveille une étiquette d'un prompt. Quand la version vers laquelle elle pointe obtient des scores sous votre seuil, la règle ramène l'étiquette à la version précédente, ou se contente d'alerter : le même déplacement audité qu'une personne effectue dans la console.
Trois signaux
La moyenne d'un score, le taux de réussite d'un score réussi/échoué, ou la part de pouces baissés de vos utilisateurs finaux, vérifiés toutes les cinq minutes sur votre fenêtre dès que assez de réponses sont notées.
Retour arrière, ou simple alerte
La règle ramène l'étiquette à la version précédente ou à celle que vous indiquez, ou se contente d'alerter. Dans les deux cas, c'est inscrit au journal d'audit et envoyé à vos canaux d'alerte.
Étiquettes protégées, autorisées par une personne
Une règle qui déplace une étiquette protégée est enregistrée par un propriétaire ou un administrateur dans la console. Un jeton de gestion n'en écrit jamais.
Chaque règle se lit comme une phrase.
Une règle se déclenche une fois par version, puis reste silencieuse jusqu'à ce que quelqu'un déplace à nouveau l'étiquette. Une personne qui déplace l'étiquette pendant la vérification l'emporte. Les règles lisent des scores, qui ne comptent pas dans votre quota de requêtes, et n'appellent aucun modèle.
Les métriques, les fenêtres, les étiquettes protégées et l'API de gestion sont décrites dans Règles de retour arrière des prompts.
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'À côté de vos outils
Chaque requête peut aussi être envoyée comme span OpenTelemetry vers un collecteur de votre choix, depuis le chemin de la requête, avec l'endpoint et les en-têtes définis dans la console. Les exécutions et les scores restent dans INFRO ; vos traces restent là où votre équipe les lit déjà.
Ils fonctionnent ensemble. Langfuse est une plateforme open source d'observabilité et d'évaluation, avec des files d'annotation pour la relecture humaine et des expériences qui exécutent votre propre code, récupération et outils compris, ce que INFRO n'a pas. INFRO se place sur le chemin des requêtes : il route, bascule en cas de panne et refuse la dépense avant l'appel à votre fournisseur, et ses juges et expériences s'exécutent sur ce même chemin. Une recette testée pour envoyer les spans de INFRO vers Langfuse n'est pas encore publiée.
FAQ
INFRO peut-il gérer les prompts ?
Oui, dans toutes les offres. Enregistrez un prompt sous forme de versions numérotées avec des étiquettes comme production et staging, et nommez-le sur une chat completion avec un champ prompt ou l'en-tête X-INFRO-Prompt. La passerelle remplit la version avant le routage, les listes d'autorisation de modèles, les garde-fous et le contrôle de dépenses, si bien que chaque contrôle lit les messages finaux, et la version est enregistrée sur la requête. Une version ne change jamais ; revenir en arrière consiste à déplacer l'étiquette vers une version antérieure, que les requêtes utilisent en moins de cinq secondes et sans déploiement. L'étiquette protégée production est déplacée par un propriétaire ou un administrateur dans la console.
Comment recueillir les retours des utilisateurs sur les réponses d'IA ?
Chaque réponse réussie à une clé de passerelle porte un en-tête X-INFRO-Feedback-Token : un jeton signé par INFRO qui désigne une seule requête et reste valide sept jours. Transmettez-le à la page qui affiche la réponse et, quand la personne clique sur pouce levé ou baissé, envoyez-le à POST /v1/feedback. Cet endpoint n'exige aucune clé API, donc votre clé n'atteint jamais le navigateur, et le jeton peut noter sa propre requête et rien d'autre. Le retour s'affiche sur la requête, son exécution et la version de prompt qui a répondu, et les scores ne comptent pas dans votre quota de requêtes.
INFRO peut-il juger la qualité des réponses d'IA ?
Oui, avec des évaluateurs, dans toutes les offres. Un évaluateur est une grille qu'un modèle de chat de votre choix applique aux réponses, sur l'une de vos propres connexions fournisseur via la passerelle. Il juge un échantillon du trafic réel, dans une limite de dépenses mensuelle que vous fixez, ou jusqu'à 1 000 requêtes journalisées à la demande, avec d'abord une estimation et un plafond de dépenses. Chaque verdict est un score sur la requête jugée, à côté de vos propres scores et des retours de vos utilisateurs finaux. Le jugement commence après l'envoi de la réponse : il ne la ralentit ni ne la modifie jamais. Chaque appel de juge est une requête chez votre fournisseur, qui vous la facture, et compte dans le quota de requêtes de votre offre.
Qu'est-ce qu'une exécution dans INFRO ?
Les requêtes d'un workflow qui portaient le même identifiant de trace : un tour d'agent, une réponse de récupération ou un pipeline de documents. Envoyez l'identifiant de trace dans l'en-tête X-INFRO-Trace-Id ou dans metadata.trace_id, et le workflow dans metadata, et GET /v1/runs comme la console listent une ligne par exécution avec ses requêtes, erreurs, durée, modèles, coût fournisseur estimé, scores et versions de prompts. Une exécution couvre les appels de modèles passés par INFRO ; votre base de données vectorielle, votre récupération et votre propre calcul ne figurent pas dans ses chiffres.
Mon application peut-elle récupérer un prompt et appeler elle-même le fournisseur ?
Oui : GET /v1/prompts renvoie les messages et les réglages d'une version avec toute clé de passerelle autorisée à utiliser le prompt. Un prompt utilisé ainsi n'est pas appliqué, car INFRO ne voit jamais l'appel : aucun garde-fou, aucune liste d'autorisation ni limite de dépenses ne s'applique, aucune requête n'enregistre la version, et la réponse le dit. C'est en nommant le prompt sur une chat completion via INFRO que les contrôles s'appliquent.
Comment tester un changement de prompt ou de modèle avant sa mise en production ?
Lancez une expérience. Constituez en un clic un jeu de données à partir des requêtes journalisées, ou importez-en un en JSONL ou CSV, puis rejouez-le via la passerelle sur jusqu'à six variantes : un modèle ou une route, une version de prompt et des paramètres. Vos évaluateurs jugent chaque réponse. L'estimation vient d'abord : le nombre de requêtes et le coût fournisseur estimé par variante. Pour démarrer, vous fixez un plafond de dépenses au moins égal à cette estimation, et l'exécution s'arrête si ses dépenses l'atteignent. La comparaison montre pour chaque variante les scores, le taux d'erreur, la latence p50 et p95 et le coût estimé par élément, et « Promote » dans la console déplace une étiquette de prompt vers la version qu'une variante a exécutée.
Un prompt peut-il revenir en arrière de lui-même quand la qualité baisse ?
Oui, avec une règle de retour arrière sur une étiquette comme production. Toutes les cinq minutes, la règle lit les scores des réponses servies par la version vers laquelle pointe cette étiquette, sur une fenêtre que vous choisissez : la moyenne d'un score, le taux de réussite d'un score réussi/échoué, ou la part de pouces baissés de vos utilisateurs finaux. Quand la valeur franchit votre seuil avec au moins le nombre minimum de réponses notées, la règle ramène l'étiquette à la version précédente, ou se contente d'alerter. Chaque déplacement figure dans le journal d'audit et est envoyé à vos canaux d'alerte. Une règle qui déplace une étiquette protégée est enregistrée par un propriétaire ou un administrateur dans la console.
Toutes les autres questions sur INFRO sont dans la FAQ.
Commencer
Qualité et contrôle dans un même enregistrement.
La requête qui a été routée, tarifée et contrôlée est celle qui a été notée, dans toutes les offres.