Pular para o conteúdo

Casos de usoMudanças de modelos

Os modelos mudam sob os seus pés. Descubra antes dos seus usuários.

Os fornecedores descontinuam modelos, trocam snapshots e mudam padrões no próprio ritmo. O INFRO avisa você enquanto ainda envia um modelo em descontinuação, nomeia o substituto, deixa uma rota mover o tráfego sem deploy e relata mudanças no seu tráfego que vêm sem erro.

Achado · mudança de tráfego · últimos 7 diasExemplo
Modelorespondido por um novo snapshot desde terça-feira
Saídarespostas 38% mais longas nos mesmos prompts
Efeito no custo+$214 de custo estimado do provedor / semana
Causa provávelmudança de snapshot do fornecedor, nenhum erro retornado

Achado de exemplo. O INFRO vê metadados das requisições, não as respostas, então não avalia a qualidade das respostas.

O problema

Sem um plano de controle

  • Um modelo descontinuado falha em produção na data de desligamento do fornecedor.
  • Um novo snapshot responde mais longo, mais devagar ou sem o cache, em silêncio.
  • Migrar para um modelo novo é uma mudança de código em cada serviço.

Com o INFRO

  • Modelos em descontinuação sinalizados enquanto você ainda os envia, com a data.
  • Mudanças de tráfego relatadas com a causa provável e o efeito semanal no custo.
  • O nome de uma rota continua funcionando enquanto o destino dela muda.

Como funciona

  1. Seja avisado

    O INFRO registra as descontinuações e as datas de desligamento de cada fornecedor e avisa as organizações que ainda enviam um modelo em descontinuação.

  2. Migre com uma rota

    Aponte uma rota que leve o nome antigo para o substituto. Os nomes de rota são resolvidos antes dos modelos do catálogo, então os chamadores não mudam.

  3. Acompanhe o que mudou

    As mudanças de tráfego sinalizam um novo snapshot, respostas mais longas, um cache de prompts perdido, mais fallbacks ou respostas mais lentas, cada uma com a causa provável.

O que você recebe

Cada um é documentado, e cada um diz qual plano o inclui. Quando nenhum plano é citado, está em todos os planos.

  • Avisos de descontinuação

    As organizações que ainda enviam um modelo em descontinuação são avisadas antes da data de desligamento.

    Documentação
  • Recusado pelo nome, nunca trocado

    A partir da data de desligamento, o modelo é recusado antes de qualquer chamada com model_shut_down, nomeando o substituto.

    Documentação
  • Rotas como nomes estáveis

    Uma rota pode levar o nome do modelo antigo e apontar para o substituto, de modo que nenhum chamador muda.

    Documentação
  • Mudanças no tráfego

    Mudanças sem erro: um novo snapshot, respostas mais longas, um cache de prompts perdido, mais fallbacks, respostas cortadas ou respostas mais lentas.

    Documentação
  • Disponibilidade a partir das suas chaves

    A lista de modelos da sua própria chave é lida a cada três horas, e um modelo que ela deixa de listar deixa de ser oferecido.

    Documentação
  • Achados onde você trabalha

    Achados por e-mail em todos os planos e, onde há canais de alerta incluídos, para Slack, Teams, PagerDuty ou um webhook assinado.

    Documentação

Para quem é

  • Equipes de plataformaO aviso de descontinuação de um fornecedor vira um achado com o seu tráfego anexado, e não um lembrete de calendário.
  • Engenheiros de plantãoUma recusa que nomeia o substituto em vez de um 404 genérico às 00:00 UTC.
  • Gerentes de engenhariaUma mudança de custo vinda de um snapshot de fornecedor é percebida em dias, e não na fatura do mês seguinte.

Perguntas frequentes

O INFRO vai mover automaticamente o meu tráfego para o substituto?

Não. O INFRO nunca responde com um modelo diferente em seu nome. Ele recusa pelo nome um modelo desligado, e você decide se uma rota aponta para o substituto.

O INFRO avalia se um novo snapshot responde melhor ou pior?

Não. Ele vê metadados das requisições, não as respostas, então relata mudanças mensuráveis (tamanho, latência, cache, fallbacks, erros) e o efeito delas no custo estimado, não a qualidade.

De onde vêm as datas de descontinuação?

Das próprias páginas de descontinuação de cada fornecedor, registradas com a data em que foram lidas. A linha do tempo pública de novidades de IA lista os mesmos lançamentos e desligamentos.

O contrato completo está na Documentação de mudanças de tráfego, e todas as outras perguntas estão no FAQ.

Começar

Experimente nas suas próprias contas de provedor.

Conecte um provedor, crie uma chave do gateway e mude uma URL base. Seus provedores continuam cobrando você diretamente; 0% de margem sobre os gastos com modelos.