Aller au contenu

Cas d'usageChangements de modèles

Les modèles changent sous vos pieds. Sachez-le avant vos utilisateurs.

Les éditeurs retirent des modèles, changent de snapshot et modifient leurs valeurs par défaut à leur propre rythme. INFRO vous prévient tant que vous envoyez un modèle en cours de retrait, nomme le remplaçant, permet à une route de déplacer le trafic sans déploiement, et signale les changements de votre trafic qui arrivent sans erreur.

Constat · changement de trafic · 7 derniers joursExemple
Modèlerépond via un nouveau snapshot depuis mardi
Sortieréponses 38 % plus longues sur les mêmes prompts
Effet sur le coût+$214 de coût fournisseur estimé / semaine
Cause probablechangement de snapshot de l'éditeur, aucune erreur renvoyée

Exemple de constat. INFRO voit les métadonnées des requêtes, pas les réponses : il ne juge donc pas la qualité des réponses.

Le problème

Sans plan de contrôle

  • Un modèle retiré échoue en production à la date d'arrêt de l'éditeur.
  • Un nouveau snapshot répond plus longuement, plus lentement ou sans le cache, en silence.
  • Passer à un nouveau modèle est un changement de code dans chaque service.

Avec INFRO

  • Les modèles en cours de retrait sont signalés tant que vous les envoyez, avec la date.
  • Changements de trafic signalés avec leur cause probable et leur effet hebdomadaire sur le coût.
  • Un nom de route continue de fonctionner pendant que sa cible change.

Fonctionnement

  1. Être prévenu

    INFRO enregistre les dépréciations et les dates d'arrêt de chaque éditeur et prévient les organisations qui envoient encore un modèle en cours de retrait.

  2. Migrer avec une route

    Faites pointer une route portant l'ancien nom vers le remplaçant. Les noms de routes sont résolus avant les modèles du catalogue : les appelants ne changent donc pas.

  3. Surveiller ce qui a changé

    Les changements de trafic signalent un nouveau snapshot, des réponses plus longues, un cache de prompts perdu, plus de replis ou des réponses plus lentes, chacun avec sa cause probable.

Ce que vous obtenez

Chacun est documenté, et chacun indique l'offre qui l'inclut. Quand aucune offre n'est nommée, il est inclus dans toutes.

  • Avertissements de retrait

    Les organisations qui envoient encore un modèle en cours de retrait sont prévenues avant sa date d'arrêt.

    Documentation
  • Refusé en le nommant, jamais remplacé

    À partir de la date d'arrêt, le modèle est refusé avant tout appel avec model_shut_down, en nommant le remplaçant.

    Documentation
  • Les routes comme noms stables

    Une route peut porter le nom de l'ancien modèle et pointer vers son remplaçant, de sorte qu'aucun appelant ne change.

    Documentation
  • Variations du trafic

    Des changements sans erreur : un nouveau snapshot, des réponses plus longues, un cache de prompts perdu, plus de replis, des réponses coupées ou des réponses plus lentes.

    Documentation
  • Disponibilité à partir de vos clés

    La liste de modèles de votre propre clé est lue toutes les trois heures, et un modèle qu'elle cesse de lister cesse d'être proposé.

    Documentation
  • Des constats là où vous travaillez

    Constats par e-mail sur toutes les offres, et vers Slack, Teams, PagerDuty ou un webhook signé là où les canaux d'alerte sont inclus.

    Documentation

Pour qui

  • Équipes plateformeL'avis de dépréciation d'un éditeur devient un constat avec votre trafic joint, pas un rappel de calendrier.
  • Ingénieurs d'astreinteUn refus qui nomme le remplaçant plutôt qu'un 404 générique à 00:00 UTC.
  • Responsables d'ingénierieUn changement de coût issu d'un snapshot d'éditeur est détecté en quelques jours, pas sur la facture du mois suivant.

FAQ

INFRO basculera-t-il automatiquement mon trafic vers le remplaçant ?

Non. INFRO ne répond jamais avec un autre modèle à votre place. Il refuse un modèle arrêté en le nommant, et vous décidez si une route pointe vers le remplaçant.

INFRO juge-t-il si un nouveau snapshot répond mieux ou moins bien ?

Non. Il voit les métadonnées des requêtes, pas les réponses : il signale donc des changements mesurables (longueur, latence, cache, replis, erreurs) et leur effet estimé sur le coût, pas la qualité.

D'où viennent les dates de retrait ?

Tiré des pages de dépréciation de chaque éditeur, enregistré avec la date de lecture. La chronologie publique des actualités de l'IA liste les mêmes sorties et arrêts.

Le contrat complet figure dans la Documentation sur les changements de trafic, et toutes les autres questions sont dans la FAQ.

Commencer

Essayez-le sur vos propres comptes fournisseurs.

Connectez un fournisseur, créez une clé de passerelle et changez une URL de base. Vos fournisseurs continuent de vous facturer directement ; 0 % de majoration sur les dépenses de modèles.