Naar de inhoud

Use casesModelwijzigingen

Modellen veranderen onder je voeten. Kom het te weten voordat je gebruikers het doen.

Leveranciers faseren modellen uit, wisselen snapshots en wijzigen standaardwaarden op hun eigen schema. INFRO waarschuwt je zolang je nog een model stuurt dat wordt uitgefaseerd, noemt de vervanger, laat een route verkeer verplaatsen zonder deploy en meldt veranderingen in je verkeer die zonder fout komen.

Bevinding · verkeerswijziging · laatste 7 dagenVoorbeeld
Modelsinds dinsdag beantwoord door een nieuwe snapshot
Outputantwoorden 38% langer bij dezelfde prompts
Kosteneffect+$214 geschatte providerkosten / week
Waarschijnlijke oorzaakwijziging van leveranciersnapshot, geen fout teruggegeven

Voorbeeldbevinding. INFRO ziet verzoekmetadata, geen antwoorden, en beoordeelt dus de kwaliteit van antwoorden niet.

Het probleem

Zonder control plane

  • Een buiten gebruik gesteld model faalt in productie op de uitschakeldatum van de leverancier.
  • Een nieuwe snapshot antwoordt langer, trager of zonder de cache, ongemerkt.
  • Naar een nieuw model overstappen is een codewijziging in elke service.

Met INFRO

  • Modellen die worden uitgefaseerd worden gemarkeerd zolang je ze nog stuurt, met de datum.
  • Verkeerswijzigingen gemeld met hun waarschijnlijke oorzaak en wekelijks kosteneffect.
  • Een routenaam blijft werken terwijl het doel verandert.

Hoe het werkt

  1. Word gewaarschuwd

    INFRO legt de deprecations en uitschakeldata van elke leverancier vast en waarschuwt organisaties die nog een model sturen dat wordt uitgefaseerd.

  2. Verhuis met een route

    Laat een route met de oude naam naar de vervanger wijzen. Routenamen worden opgelost vóór catalogusmodellen, dus aanroepers veranderen niet.

  3. Zie wat er veranderde

    Verkeerswijzigingen markeren een nieuwe snapshot, langere antwoorden, een verloren promptcache, meer fallbacks of tragere reacties, elk met de waarschijnlijke oorzaak.

Wat je krijgt

Elk ervan is gedocumenteerd, en bij elk staat welk plan het bevat. Waar geen plan wordt genoemd, zit het in elk plan.

  • Waarschuwingen over uitfasering

    Organisaties die nog een model sturen dat wordt uitgefaseerd, worden vóór de uitschakeldatum gewaarschuwd.

    Docs
  • Bij naam geweigerd, nooit verwisseld

    Vanaf de uitschakeldatum wordt het model vóór elke aanroep geweigerd met model_shut_down, met de naam van de vervanger.

    Docs
  • Routes als stabiele namen

    Een route kan de naam van het oude model dragen en naar de vervanger wijzen, zodat geen aanroeper verandert.

    Docs
  • Verkeersveranderingen

    Wijzigingen zonder fout: een nieuwe snapshot, langere antwoorden, een verloren promptcache, meer fallbacks, afgekapte antwoorden of tragere reacties.

    Docs
  • Beschikbaarheid uit je eigen sleutels

    De modellijst van je eigen sleutel wordt elke drie uur gelezen, en een model dat hij niet meer noemt, wordt niet meer aangeboden.

    Docs
  • Bevindingen waar je werkt

    Bevindingen per e-mail op elk plan, en naar Slack, Teams, PagerDuty of een ondertekende webhook waar meldingskanalen zijn inbegrepen.

    Docs

Voor wie het is

  • PlatformteamsEen deprecation-bericht van een leverancier wordt een bevinding met je verkeer erbij, geen agendaherinnering.
  • Engineers met bereikbaarheidsdienstEen weigering die de vervanger noemt in plaats van een generieke 404 om 00:00 UTC.
  • EngineeringmanagersEen kostenwijziging door de snapshot van een leverancier wordt in dagen opgemerkt, niet op de factuur van volgende maand.

FAQ

Verplaatst INFRO mijn verkeer automatisch naar de vervanger?

Nee. INFRO antwoordt nooit namens jou met een ander model. Het weigert een uitgeschakeld model bij naam, en jij beslist of een route naar de vervanger wijst.

Beoordeelt INFRO of een nieuwe snapshot beter of slechter antwoordt?

Nee. Het ziet verzoekmetadata, geen antwoorden, dus het meldt meetbare veranderingen (lengte, latentie, cache, fallbacks, fouten) en hun geschatte kosteneffect, geen kwaliteit.

Waar komen de uitfaseringsdata vandaan?

Van de eigen deprecation-pagina's van elke leverancier, vastgelegd met de datum waarop ze zijn gelezen. De openbare tijdlijn van AI-updates noemt dezelfde releases en uitschakelingen.

Het volledige contract staat in de Documentatie verkeerswijzigingen, en elke andere vraag staat in de FAQ.

Aan de slag

Probeer het op je eigen provideraccounts.

Koppel een provider, maak een gatewaysleutel en verander één basis-URL. Je providers blijven je rechtstreeks factureren; 0% opslag op modeluitgaven.