Saltar al contenido

Casos de usoCambios de modelos

Los modelos cambian por debajo de ti. Entérate antes que tus usuarios.

Los fabricantes retiran modelos, cambian snapshots y modifican valores por defecto con su propio calendario. INFRO te avisa mientras aún envías un modelo en retirada, nombra el reemplazo, deja que una ruta mueva el tráfico sin desplegar e informa de los cambios en tu tráfico que llegan sin error.

Hallazgo · cambio de tráfico · últimos 7 díasEjemplo
Modelorespondido por un snapshot nuevo desde el martes
Salidalas respuestas son un 38% más largas con los mismos prompts
Efecto en el costo+$214 de costo estimado del proveedor / semana
Causa probablecambio de snapshot del fabricante, sin devolver ningún error

Hallazgo de ejemplo. INFRO ve metadatos de las solicitudes, no las respuestas, así que no juzga la calidad de las respuestas.

El problema

Sin un plano de control

  • Un modelo retirado falla en producción en la fecha de cierre del fabricante.
  • Un snapshot nuevo responde más largo, más lento o sin la caché, en silencio.
  • Pasar a un modelo nuevo es un cambio de código en cada servicio.

Con INFRO

  • Los modelos en retirada se marcan mientras aún los envías, con la fecha.
  • Cambios de tráfico informados con su causa probable y su efecto semanal en el costo.
  • El nombre de una ruta sigue funcionando aunque cambie su destino.

Cómo funciona

  1. Recibe avisos

    INFRO registra las deprecaciones y las fechas de cierre de cada fabricante y avisa a las organizaciones que aún envían un modelo en retirada.

  2. Muévete con una ruta

    Apunta una ruta que lleve el nombre antiguo al reemplazo. Los nombres de ruta se resuelven antes que los modelos del catálogo, así que quienes llaman no cambian.

  3. Observa qué cambió

    Los cambios de tráfico marcan un snapshot nuevo, respuestas más largas, una caché de prompts perdida, más respaldos o respuestas más lentas, cada uno con su causa probable.

Lo que obtienes

Cada uno está documentado, y cada uno indica qué plan lo incluye. Donde no se nombra ningún plan, está en todos.

  • Avisos de retirada

    Se avisa a las organizaciones que aún envían un modelo en retirada antes de su fecha de cierre.

    Documentación
  • Rechazado por su nombre, nunca sustituido

    Desde la fecha de cierre, el modelo se rechaza antes de cualquier llamada con model_shut_down, nombrando el reemplazo.

    Documentación
  • Rutas como nombres estables

    Una ruta puede llevar el nombre del modelo antiguo y apuntar a su reemplazo, para que ningún cliente tenga que cambiar.

    Documentación
  • Cambios en el tráfico

    Cambios sin error: un snapshot nuevo, respuestas más largas, una caché de prompts perdida, más respaldos, respuestas cortadas o respuestas más lentas.

    Documentación
  • Disponibilidad a partir de tus claves

    La lista de modelos de tu propia clave se lee cada tres horas, y un modelo que deja de aparecer en ella deja de ofrecerse.

    Documentación
  • Hallazgos donde trabajas

    Hallazgos por correo en todos los planes, y a Slack, Teams, PagerDuty o un webhook firmado donde se incluyen canales de alerta.

    Documentación

Para quién es

  • Equipos de plataformaEl aviso de deprecación de un fabricante se convierte en un hallazgo con tu tráfico adjunto, no en un recordatorio de calendario.
  • Ingenieros de guardiaUn rechazo que nombra el reemplazo en lugar de un 404 genérico a las 00:00 UTC.
  • Gerentes de ingenieríaUn cambio de costo en el snapshot de un fabricante se detecta en días, no en la factura del mes siguiente.

Preguntas frecuentes

¿INFRO moverá mi tráfico al reemplazo automáticamente?

No. INFRO nunca responde con un modelo distinto en tu nombre. Rechaza por su nombre un modelo que ya se cerró, y tú decides si una ruta apunta al reemplazo.

¿INFRO juzga si un snapshot nuevo responde mejor o peor?

No. Ve metadatos de las solicitudes, no las respuestas, así que informa de cambios medibles (longitud, latencia, caché, respaldos, errores) y de su efecto estimado en el costo, no de la calidad.

¿De dónde salen las fechas de retirada?

De las propias páginas de deprecación de cada fabricante, registradas con la fecha en que se leyeron. La línea de tiempo pública de novedades de IA lista los mismos lanzamientos y cierres.

El contrato completo está en la Documentación de cambios de tráfico, y todas las demás preguntas están en las preguntas frecuentes.

Empezar

Pruébalo en tus propias cuentas de proveedor.

Conecta un proveedor, crea una clave del gateway y cambia una URL base. Tus proveedores te siguen facturando directamente; 0% de margen sobre el gasto en modelos.