Ve cada ejecución, escucha a cada lector, versiona cada prompt.
El gateway por el que ya pasan tus solicitudes las registra como ejecuciones con su costo estimado del proveedor, recibe puntuaciones y feedback de usuarios finales sobre ellas y completa los prompts gestionados antes de sus propias comprobaciones. Una sola integración, en tus propias cuentas de proveedor.
Las cuentas de INFRO son de autoservicio. El catálogo, la documentación y el contrato de la API son públicos, el gateway está desplegado, y todo lo que va más allá de v1 está marcado como Más adelante. Planes y prueba
Ejecuciones
Un turno de agente, una respuesta con recuperación o un pipeline de documentos son varias llamadas a modelos. Envía un id de traza con cada una y INFRO las lista como una sola ejecución, con lo que costó la ejecución en tu proveedor, así que la pregunta pasa a ser qué ejecución y qué paso.
Una fila por ejecución
Las solicitudes que comparten un id de traza y un flujo de trabajo son una ejecución: sus solicitudes, errores, duración, modelos, costo estimado del proveedor, puntuaciones y versiones de prompts.
Encuentra la ejecución que importa
Filtra por flujo de trabajo, modelo, usuario final o errores, y ordena por costo o duración en un período de hasta 31 días.
Luego, cada paso
Abre una ejecución en la consola, o llama al endpoint de traza, para ver sus solicitudes en orden con el costo de cada paso.
Un encabezado en cada llamada.
Una solicitud sin id de traza no pertenece a ninguna ejecución. Las ejecuciones se agrupan por flujo de trabajo e id de traza a la vez, porque los ids de traza son tuyos y dos flujos de trabajo pueden reutilizar uno.
Una ejecución abarca las llamadas a modelos que pasaron por INFRO, y lo indica en cada respuesta. El contrato completo está en Ejecuciones.
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"Puntuaciones y feedback
Las puntuaciones desde tu código, desde los monitores de evaluación, desde tu equipo y desde las personas que leen tus respuestas llegan a la misma solicitud, ejecución y versión de prompt. Las puntuaciones no son solicitudes al gateway y no cuentan para la cuota de solicitudes de tu plan.
Feedback de las personas que leen la respuesta
Cada respuesta correcta lleva un token firmado. La página que muestra la respuesta lo envía con un pulgar arriba o abajo, sin clave de API en el navegador.
Puntuaciones desde tu código
Un número, un sí o no, o una etiqueta, en una solicitud o en una ejecución completa, con un comentario opcional.
De los monitores de evaluación y tu equipo
Los monitores de evaluación puntúan una parte de las respuestas servidas, y los miembros puntúan una solicitud desde la consola. Cada puntuación queda en la solicitud, su ejecución y su versión de prompt.
El token es la única autoridad.
El endpoint de feedback no necesita clave de API y acepta cualquier origen. Un token identifica una solicitud, puede valorar esa solicitud y nada más, y caduca a los siete días.
Cómo reenviar el token desde tu propio servidor, los límites y la retención están en Puntuaciones y feedback.
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});Gestión de prompts
Guarda los prompts como versiones numeradas con etiquetas e indica uno en una chat completion. La versión pasa por la misma lista de permitidos, las mismas barreras de protección y el mismo presupuesto que cada solicitud, porque el gateway la completa antes que ellos, y la versión queda registrada en la solicitud.
Versiones que nunca cambian
Una versión contiene mensajes con variables y puede llevar un modelo y una configuración predeterminados. Un cambio es una versión nueva.
Completado antes de las comprobaciones
El gateway completa la versión antes del enrutamiento, las listas de modelos permitidos, las barreras de protección y la comprobación de gasto, así que cada uno lee los mensajes finales.
La etiqueta production la mueve una persona
Las etiquetas como staging se mueven desde el código. La etiqueta protegida production la mueve un propietario o administrador en la consola, y cada movimiento queda en el registro de auditoría.
El registro de cada versión
Solicitudes, tasa de errores, latencia p50 y p95, costo estimado del proveedor por solicitud, puntuación media y proporción de feedback, para el período que elijas.
Revierte moviendo la etiqueta
Apunta production a la versión anterior. Las solicitudes la usan en cinco segundos como máximo, sin desplegar.
Un campo o un encabezado
Indica el prompt en el cuerpo de la solicitud con sus variables, o en un encabezado para un cliente que no puede agregar un campo.
Indica el prompt; el gateway hace el resto.
La respuesta dice qué versión respondió. Los prompts se resuelven en chat completions, y en las solicitudes de Messages y Responses de los agentes de programación. Un prompt que tu aplicación obtiene y envía directamente a un proveedor no lo comprueba el gateway, y la respuesta lo indica.
Las etiquetas, las variables, las etiquetas protegidas y la API de gestión están en Gestión de prompts.
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'Evaluadores
Escribe una rúbrica, elige cualquier modelo de chat que tengas conectado y INFRO lo usa para juzgar respuestas a través del gateway: una muestra del tráfico en vivo, o solicitudes pasadas bajo demanda. Cada veredicto llega como una puntuación sobre la solicitud que juzgó.
Tu rúbrica, cualquier modelo de chat
Una rúbrica con la pregunta, la respuesta y, en los experimentos, la salida esperada. El juez devuelve un número, un resultado de aprobado o fallido, o una de tus categorías.
En vivo, dentro de un límite mensual
Juzga una parte de las respuestas servidas, filtradas por proyecto, modelo, versión de prompt o flujo de trabajo. El juicio sobre el tráfico en vivo se pausa por ese mes cuando se alcanza el límite de gasto del evaluador.
O solicitudes pasadas, bajo demanda
Juzga hasta 1,000 solicitudes registradas en segundo plano, con el número de solicitudes y el costo estimado del proveedor primero, y un tope de gasto en el que se detiene.
Una llamada del juez es una solicitud como cualquier otra.
Se ejecuta en tu cuenta de proveedor y ese proveedor te lo factura. Una llamada del juez sobre el tráfico en vivo se ejecuta como la clave que hizo la solicitud juzgada, así que se aplican el acceso a modelos, las barreras de protección y los presupuestos de esa clave, y empieza después de enviar la respuesta, sin ralentizarla ni cambiarla nunca. Cada llamada del juez cuenta para la cuota de solicitudes de tu plan.
Los marcadores de posición, los tipos de salida y los fallos están en Evaluadores.
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'Conjuntos de datos y experimentos
Crea un conjunto de datos a partir de las solicitudes que ya registraste, reprodúcelo a través del gateway en distintos modelos, versiones de prompt y ajustes, y compara cuánto puntuó y costó cada uno, con una estimación previa y un tope.
Desde tu tráfico con un clic
Agrega una solicitud registrada, o todas las que muestran los filtros actuales (hasta 1,000), con su respuesta como salida esperada si lo eliges.
O subidos
JSONL o CSV de hasta 5 MB, o elementos enviados desde código. Un problema indica la línea o la fila.
Se conserva hasta que lo elimines
Elementos que elegiste conservar, no ligados a la retención de tu registro de solicitudes, y que se eliminan con el conjunto de datos, su proyecto o tu organización.
Hasta seis variantes
Un modelo o una ruta, una versión de prompt y ajustes por variante. Cada respuesta la juzgan hasta cinco evaluadores y se compara por puntuaciones, tasa de errores, latencia y costo estimado por elemento.
Primero la estimación, luego un tope
El número de solicitudes, el costo estimado del proveedor y la parte de tu cuota de solicitudes antes de que se ejecute nada. Se requiere un tope de gasto de al menos la estimación, y la ejecución se detiene al alcanzarlo.
Por las mismas comprobaciones
Cada llamada es una solicitud al gateway en tus propios proveedores: se aplican el acceso a modelos, las barreras de protección, el entorno y los límites de gasto.
Nada se ejecuta hasta que fijes el tope.
Un modelo sin tarifa conocida aparece como sin precio y el experimento no puede empezar, porque su gasto no podría mantenerse dentro del tope. Los veredictos de los jueces de un experimento se quedan con el experimento, así que una prueba nunca mueve una puntuación de producción.
Las variantes, los motivos de detención y la comparación están en Experimentos; la creación y la subida de elementos, en Conjuntos de datos.
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'Reglas de reversión
Una regla vigila una etiqueta de un prompt. Cuando la versión a la que apunta puntúa por debajo de tu límite, la regla devuelve la etiqueta a la versión anterior, o solo avisa: el mismo cambio auditado que hace una persona en la consola.
Tres señales
La media de una puntuación, la tasa de aprobación de una puntuación de aprobado o fallido, o la proporción de votos negativos de tus usuarios finales, comprobada cada cinco minutos sobre tu ventana cuando hay suficientes respuestas puntuadas.
Reversión, o solo una alerta
La regla devuelve la etiqueta a la versión anterior o a la que indiques, o solo avisa. En ambos casos queda en el registro de auditoría y se envía a tus canales de alertas.
Etiquetas protegidas, autorizadas por una persona
Una regla que mueve una etiqueta protegida la guarda un propietario o administrador en la consola. Un token de gestión nunca escribe una.
Cada regla se lee como una frase.
Una regla se activa una vez por versión y luego permanece en silencio hasta que alguien vuelva a mover la etiqueta. Si una persona mueve la etiqueta mientras se ejecuta la comprobación, prevalece la persona. Las reglas leen puntuaciones, que no cuentan para tu cuota de solicitudes, y no llaman a ningún modelo.
Las métricas, las ventanas, las etiquetas protegidas y la API de gestión están en Reglas de reversión de prompts.
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'Junto a tus herramientas
Cada solicitud también puede enviarse como un span de OpenTelemetry a un colector que elijas, desde la ruta de la solicitud, con el endpoint y los encabezados configurados en la consola. Las ejecuciones y las puntuaciones se quedan en INFRO; tus trazas se quedan donde tu equipo ya las lee.
Funcionan juntos. Langfuse es una plataforma de observabilidad y evaluación de código abierto, con colas de anotación para revisión humana y experimentos que ejecutan tu propio código, con la recuperación y las herramientas incluidas, algo que INFRO no tiene. INFRO está en la ruta de la solicitud: enruta, hace failover y rechaza gasto antes de llamar a tu proveedor, y sus jueces y experimentos se ejecutan en esa misma ruta. Todavía no hay publicada una receta probada para enviar los spans de INFRO a Langfuse.
Preguntas frecuentes
¿INFRO puede gestionar prompts?
Sí, en todos los planes. Guarda un prompt como versiones numeradas con etiquetas como production y staging, e indícalo en una chat completion con un campo prompt o el encabezado X-INFRO-Prompt. El gateway completa la versión antes del enrutamiento, las listas de modelos permitidos, las barreras de protección y la comprobación de gasto, así que cada comprobación lee los mensajes finales, y la versión queda registrada en la solicitud. Una versión nunca cambia; revertir es mover la etiqueta a una versión anterior, que las solicitudes usan en cinco segundos como máximo y sin desplegar. La etiqueta protegida production la mueve un propietario o administrador en la consola.
¿Cómo recojo feedback de los usuarios sobre las respuestas de IA?
Cada respuesta correcta a una clave del gateway lleva un encabezado X-INFRO-Feedback-Token: un token firmado por INFRO que identifica una solicitud y es válido durante siete días. Pásalo a la página que muestra la respuesta y, cuando la persona haga clic en pulgar arriba o abajo, envíalo a POST /v1/feedback. Ese endpoint no necesita clave de API, así que tu clave nunca llega al navegador, y el token puede valorar su propia solicitud y nada más. El feedback se muestra en la solicitud, su ejecución y la versión de prompt que respondió, y las puntuaciones no cuentan para tu cuota de solicitudes.
¿Puede INFRO juzgar la calidad de las respuestas de IA?
Sí, con evaluadores, en todos los planes. Un evaluador es una rúbrica que un modelo de chat que eliges aplica a las respuestas, en una de tus propias conexiones de proveedor a través del gateway. Juzga una muestra del tráfico en vivo, sujeta a un límite de gasto mensual que tú fijas, o hasta 1,000 solicitudes registradas bajo demanda, con una estimación previa y un tope de gasto. Cada veredicto es una puntuación sobre la solicitud que juzgó, junto a tus propias puntuaciones y el feedback de tus usuarios finales. El juicio empieza después de enviar la respuesta, así que nunca la ralentiza ni la cambia. Cada llamada del juez es una solicitud en tu proveedor, que ese proveedor te factura y que cuenta para la cuota de solicitudes de tu plan.
¿Qué es una ejecución en INFRO?
Las solicitudes de un flujo de trabajo que llevaron el mismo id de traza: un turno de agente, una respuesta con recuperación o un pipeline de documentos. Envía el id de traza en el encabezado X-INFRO-Trace-Id o en metadata.trace_id, y el flujo de trabajo en metadata, y GET /v1/runs y la consola listan una fila por ejecución con sus solicitudes, errores, duración, modelos, costo estimado del proveedor, puntuaciones y versiones de prompts. Una ejecución abarca las llamadas a modelos que pasaron por INFRO; tu base de datos vectorial, la recuperación y tu propio cómputo no están en sus cifras.
¿Mi aplicación puede obtener un prompt y llamar al proveedor por su cuenta?
Sí: GET /v1/prompts devuelve los mensajes y la configuración de una versión con cualquier clave del gateway que pueda usar el prompt. Un prompt usado así no tiene controles aplicados, porque INFRO nunca ve la llamada: no se aplica ninguna barrera de protección, lista de permitidos ni límite de gasto, ninguna solicitud registra la versión, y la respuesta lo indica. Indicar el prompt en una chat completion a través de INFRO es lo que aplica las comprobaciones.
¿Cómo pruebo un cambio de prompt o de modelo antes de publicarlo?
Ejecuta un experimento. Crea un conjunto de datos con un clic a partir de solicitudes registradas, o sube uno como JSONL o CSV, y luego reprodúcelo a través del gateway en hasta seis variantes: un modelo o una ruta, una versión de prompt y ajustes. Tus evaluadores juzgan cada respuesta. Primero llega la estimación: el número de solicitudes y el costo estimado del proveedor por variante. Para empezar, fijas un tope de gasto de al menos esa estimación, y la ejecución se detiene si su gasto lo alcanza. La comparación muestra las puntuaciones, la tasa de errores, la latencia p50 y p95 y el costo estimado por elemento de cada variante, y Promover en la consola mueve una etiqueta de prompt a la versión que ejecutó una variante.
¿Puede un prompt revertirse solo cuando baja la calidad?
Sí, con una regla de reversión sobre una etiqueta como production. Cada cinco minutos, la regla lee las puntuaciones de las respuestas servidas desde la versión a la que apunta esa etiqueta, en una ventana que eliges: la media de una puntuación, la tasa de aprobación de una puntuación de aprobado o fallido, o la proporción de votos negativos de tus usuarios finales. Cuando la cifra cruza tu límite con al menos el número mínimo de respuestas puntuadas, la regla devuelve la etiqueta a la versión anterior, o solo avisa. Cada cambio queda en el registro de auditoría y se envía a tus canales de alerta. Una regla que mueve una etiqueta protegida la guarda un propietario o administrador en la consola.
Todas las demás preguntas sobre INFRO están en las preguntas frecuentes.
Empezar
Calidad y control en un solo registro.
La solicitud que se enrutó, se tarificó y se comprobó es la solicitud que se puntuó, en todos los planes.