Vai al contenuto

Casi d'usoModifiche ai modelli

I modelli cambiano sotto di te. Scoprilo prima dei tuoi utenti.

I vendor ritirano modelli, sostituiscono snapshot e cambiano valori predefiniti con i propri tempi. INFRO ti avvisa finché invii ancora un modello in ritiro, indica il sostituto, permette a una route di spostare il traffico senza un deploy e riporta le variazioni nel tuo traffico che arrivano senza alcun errore.

Riscontro · variazione del traffico · ultimi 7 giorniEsempio
Modellorisposto da un nuovo snapshot da martedì
Outputrisposte più lunghe del 38% sugli stessi prompt
Effetto sul costo+$214 di costo stimato del provider / settimana
Causa probabilemodifica dello snapshot del vendor, nessun errore restituito

Riscontro di esempio. INFRO vede i metadati delle richieste, non le risposte, quindi non giudica la qualità delle risposte.

Il problema

Senza un piano di controllo

  • Un modello ritirato fallisce in produzione alla data di chiusura del vendor.
  • Un nuovo snapshot risponde più a lungo, più lentamente o senza cache, in silenzio.
  • Passare a un nuovo modello è una modifica del codice in ogni servizio.

Con INFRO

  • Modelli in ritiro segnalati finché li invii ancora, con la data.
  • Variazioni del traffico riportate con la probabile causa e l'effetto settimanale sul costo.
  • Il nome di una route continua a funzionare mentre la sua destinazione cambia.

Come funziona

  1. Ricevi un avviso

    INFRO registra le deprecazioni e le date di chiusura di ciascun vendor e avvisa le organizzazioni che inviano ancora un modello in ritiro.

  2. Passa con una route

    Punta al sostituto una route che porta il vecchio nome. I nomi delle route vengono risolti prima dei modelli del catalogo, quindi i chiamanti non cambiano.

  3. Osserva cosa è cambiato

    Le variazioni del traffico segnalano un nuovo snapshot, risposte più lunghe, una cache dei prompt persa, più fallback o risposte più lente, ciascuna con la sua probabile causa.

Cosa ottieni

Ognuno è documentato, e ognuno indica quale piano lo include. Dove non è indicato un piano, è su ogni piano.

  • Avvisi di ritiro

    Le organizzazioni che inviano ancora un modello in ritiro vengono avvisate prima della data di chiusura.

    Documentazione
  • Rifiutato per nome, mai sostituito

    Dalla data di chiusura il modello viene rifiutato prima di qualsiasi chiamata con model_shut_down, indicando il sostituto.

    Documentazione
  • Route come nomi stabili

    Una route può portare il nome del vecchio modello e puntare al suo sostituto, così nessun chiamante cambia.

    Documentazione
  • Variazioni del traffico

    Modifiche senza errore: un nuovo snapshot, risposte più lunghe, una cache dei prompt persa, più fallback, risposte troncate o risposte più lente.

    Documentazione
  • Disponibilità dalle tue chiavi

    L'elenco dei modelli della tua chiave viene letto ogni tre ore e un modello che smette di comparire smette di essere offerto.

    Documentazione
  • Riscontri dove lavori

    Riscontri via email in ogni piano e verso Slack, Teams, PagerDuty o un webhook firmato dove i canali di avviso sono inclusi.

    Documentazione

Per chi è

  • Team di piattaformaL'avviso di deprecazione di un vendor diventa un riscontro con il tuo traffico allegato, non un promemoria nel calendario.
  • Ingegneri di reperibilitàUn rifiuto che nomina il sostituto invece di un 404 generico alle 00:00 UTC.
  • Engineering managerUna variazione di costo da uno snapshot di un vendor viene intercettata in giorni, non nella fattura del mese dopo.

FAQ

INFRO sposterà automaticamente il mio traffico sul sostituto?

No. INFRO non risponde mai con un modello diverso per tuo conto. Rifiuta per nome un modello chiuso e sei tu a decidere se una route punta al sostituto.

INFRO giudica se un nuovo snapshot risponde meglio o peggio?

No. Vede i metadati delle richieste, non le risposte, quindi riporta modifiche misurabili (lunghezza, latenza, cache, fallback, errori) e il loro effetto stimato sul costo, non la qualità.

Da dove vengono le date di ritiro?

Dalle pagine di deprecazione di ciascun vendor, registrate con la data in cui sono state lette. La timeline pubblica degli aggiornamenti AI elenca gli stessi rilasci e le stesse chiusure.

Il contratto completo è nella Documentazione sulle variazioni del traffico, e tutte le altre domande sono nelle FAQ.

Inizia

Provalo sui tuoi account dei provider.

Collega un provider, crea una chiave del gateway e cambia un URL di base. I tuoi provider continuano a fatturarti direttamente; 0% di ricarico sulla spesa per i modelli.