运行记录
一次智能体轮次、一次检索回答或一条文档流水线,都是多次模型调用。为其中每次调用发送同一个追踪 id,INFRO 就会把它们列为一次运行,并附上这次运行在你的提供商处产生的费用,于是问题就变成了:哪一次运行、哪一步。
每次运行一行
共享同一追踪 id 和工作流的请求就是一次运行:包括其请求、错误、耗时、模型、预估提供商费用、评分和提示词版本。
找到关键的那次运行
按工作流、模型、终端用户或错误筛选,并在最长 31 天的时间窗口内按费用或耗时排序。
然后是每一步
在控制台中打开一次运行,或调用追踪端点,即可按顺序查看其请求以及每一步的费用。
每次调用加一个请求头。
没有追踪 id 的请求不属于任何运行。运行按工作流和追踪 id 共同分组,因为追踪 id 由你决定,两个工作流可能复用同一个。
一次运行只涵盖经过 INFRO 的模型调用,每个响应中都会说明这一点。完整约定见 运行记录。
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"评分与反馈
来自你的代码、评估监控、团队以及阅读你回答之人的评分,都会落在同一个请求、运行和提示词版本上。评分不是网关请求,不计入你套餐的请求额度。
来自阅读回答之人的反馈
每个成功的响应都带有一个签名令牌。显示回答的页面会把它连同点赞或点踩一起发送,浏览器中无需 API 密钥。
来自你代码的评分
一个数字、一个是或否,或一个标签,针对单个请求或整次运行,可附带备注。
来自评估监控和你的团队
评估监控会为一定比例已提供的回答打分,成员也可以在控制台中为请求打分。每个评分都会显示在该请求、其所属运行及其提示词版本上。
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});提示词管理
把提示词保存为带标签的编号版本,并在聊天补全中指定其一。该版本与每个请求一样经过同样的允许列表、护栏和预算,因为网关在这些检查之前填充它,而且版本会记录在请求上。
永不改变的版本
一个版本包含带变量的消息,并可带有默认模型和设置。任何修改都是一个新版本。
在检查之前填充
网关会在路由、模型允许列表、护栏和支出检查之前填充版本,因此每一项读取的都是最终消息。
production 由人工移动
staging 等标签可以通过代码移动。受保护的 production 标签由所有者或管理员在控制台中移动,每次移动都会记入审计日志。
每个版本的记录
请求数、错误率、p50 和 p95 延迟、每个请求的预估提供商费用、平均评分和反馈占比,时间窗口由你选择。
移动标签即可回滚
把 production 指向较早的版本。请求会在五秒内开始使用它,无需部署。
一个字段或一个请求头
在请求体中指定提示词及其变量;对于无法添加字段的客户端,则在请求头中指定。
指定提示词,其余交给网关。
响应会说明是哪个版本作答。提示词在聊天补全上解析,也在来自编程智能体的 Messages 和 Responses 请求上解析。你的应用获取后直接发送给提供商的提示词不经网关检查,响应中也会说明这一点。
标签、变量、受保护的标签和管理 API 详见 提示词管理。
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'评估器
编写一份评分标准,选择你已连接的任意聊天模型,INFRO 会让它通过网关评判回答:对实时流量抽样,或按需评判过去的请求。每个评判结论都会作为评分落在其所评判的请求上。
你的评分标准,任意聊天模型
一份包含问题、回答以及(在实验中)预期输出的评分标准。评判器返回一个数值、通过或不通过,或你定义的某个类别。
实时流量,每月限额内
评判一部分已提供的回答,可按项目、模型、提示词版本或工作流筛选。当评估器的支出限额达到时,实时评判在当月暂停。
或按需评判过去的请求
在后台评判最多 1,000 个已记录的请求,先给出请求数和预估提供商费用,并设有到达即停止的支出上限。
评判调用和其他请求一样,也是一个请求。
它在你的提供商账号上运行,并由该提供商向你计费。实时评判调用以发出被评判请求的那个密钥身份运行,因此该密钥的模型访问、护栏和预算均适用;它在回答发送之后才开始,绝不会拖慢或改变回答。每次评判调用都计入你套餐的请求额度。
占位符、输出类型和失败情况,请见评估器。
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'数据集和实验
用你已记录的请求构建数据集,通过网关在不同模型、提示词版本和设置上重放,并比较各自的评分和费用,事先给出估算并设有上限。
一键取自你的流量
添加一个已记录的请求,或当前筛选条件显示的所有请求(最多 1,000 个),如果你愿意,可将其回答作为预期输出。
或上传
最大 5 MB 的 JSONL 或 CSV,或通过代码发送的条目。出现问题时,会指出所在的行或数据行。
保留到你删除为止
你选择保留的条目,不受请求日志保留期限的约束,并会随数据集、其所属项目或你的组织一同删除。
最多六个变体
每个变体包含一个模型或路由、一个提示词版本和一组设置。每个回答最多由五个评估器评判,并按评分、错误率、延迟和每个条目的预估费用进行比较。
先估算,再设上限
在运行任何内容之前,先显示请求数、预估提供商费用以及占你请求额度的比例。必须设置不低于估算值的支出上限,运行到达上限即停止。
经过同样的检查
每次调用都是在你自己提供商上的一个网关请求:模型访问、护栏、环境和支出限额均适用。
在你设置上限之前,不会运行任何内容。
没有已知费率的模型会显示为未定价,实验无法开始,因为其支出无法被控制在上限之内。实验中评判器的结论只保留在实验内,因此测试绝不会改变生产环境的评分。
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'回滚规则
一条规则监视一个提示词的一个标签。当该标签所指版本的评分低于你的限值时,规则会把标签退回到上一个版本,或只发出提醒;这与人在控制台中进行的移动是同一种经审计的操作。
三种信号
某项评分的平均值、通过/不通过类评分的通过率,或终端用户点踩的占比;已评分回答足够时,每五分钟按你设定的时间窗口检查一次。
退回,或仅提醒
规则会把标签退回到上一个版本或你指定的版本,或只发出提醒。无论哪种情况,都会记入审计日志并发送到你的提醒渠道。
受保护标签由人授权
移动受保护标签的规则由所有者或管理员在控制台中保存。管理令牌永远不能写入此类规则。
每条规则读起来就是一句话。
一条规则对同一版本只触发一次,之后保持静默,直到有人再次移动标签。若在检查运行期间有人移动了标签,以人的操作为准。规则读取的是评分,评分不计入你的请求额度,规则也不调用任何模型。
指标、时间窗口、受保护标签和管理 API,请见提示词回滚规则。
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'与你现有的工具并用
每个请求也可以从请求路径作为 OpenTelemetry span 推送到你选择的收集器,端点和请求头在控制台中设置。运行记录和评分留在 INFRO;你的追踪数据留在团队已经在看的地方。
两者可以一起使用。Langfuse 是一个开源的可观测性与评估平台,提供用于人工审阅的标注队列,以及运行你自己代码(包括检索和工具)的实验,这些是 INFRO 所没有的。INFRO 位于请求路径上:它负责路由、故障转移,并在调用你的提供商之前拒绝超限支出,它的评判器和实验也在同一路径上运行。将 INFRO 的 span 发送到 Langfuse 的经过测试的方案尚未发布。
常见问题
INFRO 能管理提示词吗?
可以,所有套餐均包含。把提示词保存为带标签(如 production 和 staging)的编号版本,并在聊天补全中通过 prompt 字段或 X-INFRO-Prompt 请求头指定。网关会在路由、模型允许列表、护栏和支出检查之前填入版本,因此每项检查读取的都是最终消息,且版本会记录在请求上。版本永不改变;回滚就是把标签移到较早的版本,请求会在五秒内开始使用它,无需部署。受保护的 production 标签由所有者或管理员在控制台中移动。
如何收集用户对 AI 回答的反馈?
对网关密钥的每个成功响应都带有 X-INFRO-Feedback-Token 响应头:这是 INFRO 签名的令牌,指向一个请求,有效期为七天。把它交给显示回答的页面,当用户点击点赞或点踩时,将其发送到 POST /v1/feedback。该端点无需 API 密钥,因此你的密钥永远不会到达浏览器,而该令牌只能为它自己的请求评分,别无他用。反馈会显示在该请求、其所属运行以及作答的提示词版本上,评分不计入你的请求额度。
INFRO 能评判 AI 回答的质量吗?
可以,通过评估器实现,所有套餐均包含。评估器是一份评分标准,由你选择的聊天模型通过网关、在你自己的某个提供商连接上应用于回答。它可以评判一部分实时流量(受你设定的每月支出限额约束),也可以按需评判最多 1,000 个已记录的请求,先给出估算并设有支出上限。每个评判结论都是其所评判请求上的一个评分,与你自己的评分和终端用户的反馈并列。评判在回答发送之后才开始,因此绝不会拖慢或改变回答。每次评判调用都是你提供商上的一个请求,由该提供商向你计费,并计入你套餐的请求额度。
INFRO 中的运行是什么?
同一工作流中携带相同追踪 id 的请求:一次智能体轮次、一次检索回答或一条文档流水线。在 X-INFRO-Trace-Id 请求头或 metadata.trace_id 中发送追踪 id,在 metadata 中发送工作流,GET /v1/runs 和控制台就会为每次运行列出一行,包含其请求、错误、耗时、模型、预估提供商费用、评分和提示词版本。一次运行涵盖经过 INFRO 的模型调用;你的向量数据库、检索和自有计算不在其数据之内。
我的应用能否获取提示词后自己调用提供商?
可以:GET /v1/prompts 会通过任何有权使用该提示词的网关密钥,返回某个版本的消息和设置。以这种方式使用的提示词不受强制约束,因为 INFRO 根本看不到这次调用:任何护栏、允许列表或支出限额都不适用,也没有请求记录该版本,响应中也会说明这一点。只有通过 INFRO 在聊天补全中指定提示词,才会应用这些检查。
如何在上线前测试提示词或模型的变更?
运行实验。一键从已记录的请求构建数据集,或以 JSONL 或 CSV 上传,然后通过网关在最多六个变体上重放:一个模型或路由、一个提示词版本和一组设置。你的评估器会评判每个回答。估算先行:每个变体的请求数和预估提供商费用。要开始运行,你需要设置不低于该估算的支出上限,一旦支出达到上限,运行即停止。比较结果显示每个变体的评分、错误率、p50 和 p95 延迟以及每个条目的预估费用;在控制台中使用 Promote,即可把提示词标签移到某个变体所运行的版本。
质量下降时,提示词能自动回滚吗?
可以,在 production 这类标签上设置回滚规则即可。规则每五分钟读取一次该标签所指版本所提供回答的评分,时间窗口由你选择:某项评分的平均值、通过/不通过类评分的通过率,或终端用户点踩的占比。当该数值越过你设定的限值,且已评分回答数达到最低数量时,规则会把标签退回到上一个版本,或只发出提醒。每次移动都会记入审计日志,并发送到你的提醒渠道。移动受保护标签的规则由所有者或管理员在控制台中保存。
关于 INFRO 的其他所有问题都在常见问题中。