Zum Inhalt springen

AnwendungsfälleModelländerungen

Modelle ändern sich unter Ihnen. Erfahren Sie es vor Ihren Nutzern.

Hersteller kündigen Modelle ab, tauschen Snapshots aus und ändern Standardwerte nach eigenem Zeitplan. INFRO warnt Sie, solange Sie noch ein auslaufendes Modell senden, nennt den Ersatz, lässt eine Route Traffic ohne Deployment verschieben und meldet Änderungen in Ihrem Traffic, die ohne Fehler kommen.

Befund · Traffic-Änderung · letzte 7 TageBeispiel
Modellseit Dienstag von einem neuen Snapshot beantwortet
AusgabeAntworten 38 % länger bei denselben Prompts
Kostenwirkung+$214 geschätzte Anbieterkosten / Woche
Wahrscheinliche UrsacheSnapshot-Änderung des Herstellers, kein Fehler zurückgegeben

Beispiel-Befund. INFRO sieht Anfrage-Metadaten, keine Antworten, und beurteilt daher nicht die Antwortqualität.

Das Problem

Ohne Control Plane

  • Ein abgekündigtes Modell fällt am Abschaltdatum des Herstellers in der Produktion aus.
  • Ein neuer Snapshot antwortet länger, langsamer oder ohne den Cache, stillschweigend.
  • Der Wechsel zu einem neuen Modell ist in jedem Dienst eine Codeänderung.

Mit INFRO

  • Auslaufende Modelle werden markiert, solange Sie sie noch senden, mit dem Datum.
  • Traffic-Änderungen, gemeldet mit wahrscheinlicher Ursache und wöchentlicher Kostenwirkung.
  • Ein Routenname funktioniert weiter, während sich sein Ziel ändert.

So funktioniert es

  1. Gewarnt werden

    INFRO erfasst die Abkündigungen und Abschaltdaten jedes Herstellers und warnt Organisationen, die noch ein auslaufendes Modell ansprechen.

  2. Mit einer Route umziehen

    Richten Sie eine Route, die den alten Namen trägt, auf den Ersatz. Routennamen werden vor Katalogmodellen aufgelöst, sodass sich für Aufrufer nichts ändert.

  3. Beobachten, was sich geändert hat

    Traffic-Änderungen markieren einen neuen Snapshot, längere Antworten, einen verlorenen Prompt-Cache, mehr Fallbacks oder langsamere Antworten, jeweils mit der wahrscheinlichen Ursache.

Was Sie bekommen

Jede ist dokumentiert, und bei jeder steht, welcher Tarif sie enthält. Wo kein Tarif genannt ist, ist sie in jedem Tarif enthalten.

  • Abkündigungswarnungen

    Organisationen, die noch ein auslaufendes Modell senden, werden vor dessen Abschaltdatum gewarnt.

    Doku
  • Beim Namen abgelehnt, nie ausgetauscht

    Ab dem Abschaltdatum wird das Modell vor jedem Aufruf mit model_shut_down abgelehnt, mit Nennung des Ersatzes.

    Doku
  • Routen als stabile Namen

    Eine Route kann den Namen des alten Modells tragen und auf seinen Ersatz zeigen, sodass kein Aufrufer etwas ändern muss.

    Doku
  • Traffic-Änderungen

    Änderungen ohne Fehler: ein neuer Snapshot, längere Antworten, ein verlorener Prompt-Cache, mehr Fallbacks, abgeschnittene Antworten oder langsamere Antworten.

    Doku
  • Verfügbarkeit aus Ihren Schlüsseln

    Die Modellliste Ihres eigenen Schlüssels wird alle drei Stunden gelesen, und ein Modell, das er nicht mehr aufführt, wird nicht mehr angeboten.

    Doku
  • Befunde dort, wo Sie arbeiten

    Befunde per E-Mail in jedem Tarif und an Slack, Teams, PagerDuty oder einen signierten Webhook, wo Alarmkanäle enthalten sind.

    Doku

Für wen es ist

  • PlattformteamsDie Abkündigung eines Herstellers wird zu einem Befund mit Ihrem Traffic daran, nicht zu einer Kalendererinnerung.
  • Bereitschafts-EngineersEine Ablehnung, die den Ersatz nennt, statt eines generischen 404 um 00:00 UTC.
  • Engineering ManagerEine Kostenänderung durch den Snapshot eines Herstellers wird in Tagen erkannt, nicht auf der Rechnung des nächsten Monats.

FAQ

Verschiebt INFRO meinen Traffic automatisch auf den Ersatz?

Nein. INFRO antwortet nie mit einem anderen Modell in Ihrem Namen. Es lehnt ein abgeschaltetes Modell beim Namen ab, und Sie entscheiden, ob eine Route auf den Ersatz zeigt.

Beurteilt INFRO, ob ein neuer Snapshot besser oder schlechter antwortet?

Nein. Es sieht Anfrage-Metadaten, keine Antworten, daher meldet es messbare Änderungen (Länge, Latenz, Cache, Fallbacks, Fehler) und deren geschätzte Kostenwirkung, nicht die Qualität.

Woher kommen die Abkündigungsdaten?

Aus den eigenen Abkündigungsseiten jedes Herstellers, mit dem Datum erfasst, an dem sie gelesen wurden. Die öffentliche Zeitleiste der KI-Updates listet dieselben Releases und Abschaltungen.

Der vollständige Vertrag steht in der Dokumentation zu Traffic-Änderungen, und alle anderen Fragen stehen in den FAQ.

Loslegen

Probieren Sie es auf Ihren eigenen Anbieterkonten aus.

Verbinden Sie einen Anbieter, erstellen Sie einen Gateway-Schlüssel und ändern Sie eine Basis-URL. Ihre Anbieter rechnen weiter direkt mit Ihnen ab; 0 % Aufschlag auf Modellausgaben.