跳到正文

查看每次运行,听取每位读者的反馈,为每个提示词管理版本。

你的请求本就经过的网关,会把它们记录为附带预估提供商费用的运行,接收针对它们的评分和终端用户反馈,并在自身检查之前填充托管提示词。一次集成,基于你自己的提供商账号。

INFRO 账号可自助开通。 模型目录、文档和 API 契约已公开,网关已部署,v1 之后的所有功能都标注为“后续”。 套餐与试用

运行记录

一次智能体轮次、一次检索回答或一条文档流水线,都是多次模型调用。为其中每次调用发送同一个追踪 id,INFRO 就会把它们列为一次运行,并附上这次运行在你的提供商处产生的费用,于是问题就变成了:哪一次运行、哪一步。

  • 每次运行一行

    共享同一追踪 id 和工作流的请求就是一次运行:包括其请求、错误、耗时、模型、预估提供商费用、评分和提示词版本。

  • 找到关键的那次运行

    按工作流、模型、终端用户或错误筛选,并在最长 31 天的时间窗口内按费用或耗时排序。

  • 然后是每一步

    在控制台中打开一次运行,或调用追踪端点,即可按顺序查看其请求以及每一步的费用。

每次调用加一个请求头。

没有追踪 id 的请求不属于任何运行。运行按工作流和追踪 id 共同分组,因为追踪 id 由你决定,两个工作流可能复用同一个。

一次运行只涵盖经过 INFRO 的模型调用,每个响应中都会说明这一点。完整约定见 运行记录。

# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "X-INFRO-Trace-Id: run_42" \
  -H "Content-Type: application/json" \
  -d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
       "messages": [{"role": "user", "content": "Where is my order?"}]}'

# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
  -H "Authorization: Bearer $INFRO_API_KEY"

评分与反馈

来自你的代码、评估监控、团队以及阅读你回答之人的评分,都会落在同一个请求、运行和提示词版本上。评分不是网关请求,不计入你套餐的请求额度。

  • 来自阅读回答之人的反馈

    每个成功的响应都带有一个签名令牌。显示回答的页面会把它连同点赞或点踩一起发送,浏览器中无需 API 密钥。

  • 来自你代码的评分

    一个数字、一个是或否,或一个标签,针对单个请求或整次运行,可附带备注。

  • 来自评估监控和你的团队

    评估监控会为一定比例已提供的回答打分,成员也可以在控制台中为请求打分。每个评分都会显示在该请求、其所属运行及其提示词版本上。

令牌是唯一的授权凭据。

反馈端点无需 API 密钥,并接受任何来源。一个令牌指向一个请求,只能为该请求评分,七天后过期。

从你自己的服务器中转令牌、限制和保留期限,详见 评分与反馈。

// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");

// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ token: feedbackToken, value: true }),
});

提示词管理

把提示词保存为带标签的编号版本,并在聊天补全中指定其一。该版本与每个请求一样经过同样的允许列表、护栏和预算,因为网关在这些检查之前填充它,而且版本会记录在请求上。

  • 永不改变的版本

    一个版本包含带变量的消息,并可带有默认模型和设置。任何修改都是一个新版本。

  • 在检查之前填充

    网关会在路由、模型允许列表、护栏和支出检查之前填充版本,因此每一项读取的都是最终消息。

  • production 由人工移动

    staging 等标签可以通过代码移动。受保护的 production 标签由所有者或管理员在控制台中移动,每次移动都会记入审计日志。

  • 每个版本的记录

    请求数、错误率、p50 和 p95 延迟、每个请求的预估提供商费用、平均评分和反馈占比,时间窗口由你选择。

  • 移动标签即可回滚

    把 production 指向较早的版本。请求会在五秒内开始使用它,无需部署。

  • 一个字段或一个请求头

    在请求体中指定提示词及其变量;对于无法添加字段的客户端,则在请求头中指定。

指定提示词,其余交给网关。

响应会说明是哪个版本作答。提示词在聊天补全上解析,也在来自编程智能体的 Messages 和 Responses 请求上解析。你的应用获取后直接发送给提供商的提示词不经网关检查,响应中也会说明这一点。

标签、变量、受保护的标签和管理 API 详见 提示词管理。

curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5",
    "prompt": {
      "id": "support-reply",
      "label": "production",
      "variables": { "customer_name": "Ada" }
    },
    "messages": [{ "role": "user", "content": "Where is my order?" }]
  }'

评估器

编写一份评分标准,选择你已连接的任意聊天模型,INFRO 会让它通过网关评判回答:对实时流量抽样,或按需评判过去的请求。每个评判结论都会作为评分落在其所评判的请求上。

  • 你的评分标准,任意聊天模型

    一份包含问题、回答以及(在实验中)预期输出的评分标准。评判器返回一个数值、通过或不通过,或你定义的某个类别。

  • 实时流量,每月限额内

    评判一部分已提供的回答,可按项目、模型、提示词版本或工作流筛选。当评估器的支出限额达到时,实时评判在当月暂停。

  • 或按需评判过去的请求

    在后台评判最多 1,000 个已记录的请求,先给出请求数和预估提供商费用,并设有到达即停止的支出上限。

评判调用和其他请求一样,也是一个请求。

它在你的提供商账号上运行,并由该提供商向你计费。实时评判调用以发出被评判请求的那个密钥身份运行,因此该密钥的模型访问、护栏和预算均适用;它在回答发送之后才开始,绝不会拖慢或改变回答。每次评判调用都计入你套餐的请求额度。

占位符、输出类型和失败情况,请见评估器。

# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "slug": "helpfulness",
    "model": "openai/gpt-5.4",
    "rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
    "output": {"type": "numeric"},
    "sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
    "monthly_spend_limit": 25
  }'

数据集和实验

用你已记录的请求构建数据集,通过网关在不同模型、提示词版本和设置上重放,并比较各自的评分和费用,事先给出估算并设有上限。

  • 一键取自你的流量

    添加一个已记录的请求,或当前筛选条件显示的所有请求(最多 1,000 个),如果你愿意,可将其回答作为预期输出。

  • 或上传

    最大 5 MB 的 JSONL 或 CSV,或通过代码发送的条目。出现问题时,会指出所在的行或数据行。

  • 保留到你删除为止

    你选择保留的条目,不受请求日志保留期限的约束,并会随数据集、其所属项目或你的组织一同删除。

  • 最多六个变体

    每个变体包含一个模型或路由、一个提示词版本和一组设置。每个回答最多由五个评估器评判,并按评分、错误率、延迟和每个条目的预估费用进行比较。

  • 先估算,再设上限

    在运行任何内容之前,先显示请求数、预估提供商费用以及占你请求额度的比例。必须设置不低于估算值的支出上限,运行到达上限即停止。

  • 经过同样的检查

    每次调用都是在你自己提供商上的一个网关请求:模型访问、护栏、环境和支出限额均适用。

在你设置上限之前,不会运行任何内容。

没有已知费率的模型会显示为未定价,实验无法开始,因为其支出无法被控制在上限之内。实验中评判器的结论只保留在实验内,因此测试绝不会改变生产环境的评分。

变体、停止原因和比较结果,请见实验;构建和上传条目请见数据集。

# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "dataset": "support-golden",
    "variants": [
      {"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
      {"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
      {"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
    ],
    "evaluators": ["helpfulness"],
    "dry_run": true
  }'

回滚规则

一条规则监视一个提示词的一个标签。当该标签所指版本的评分低于你的限值时,规则会把标签退回到上一个版本,或只发出提醒;这与人在控制台中进行的移动是同一种经审计的操作。

  • 三种信号

    某项评分的平均值、通过/不通过类评分的通过率,或终端用户点踩的占比;已评分回答足够时,每五分钟按你设定的时间窗口检查一次。

  • 退回,或仅提醒

    规则会把标签退回到上一个版本或你指定的版本,或只发出提醒。无论哪种情况,都会记入审计日志并发送到你的提醒渠道。

  • 受保护标签由人授权

    移动受保护标签的规则由所有者或管理员在控制台中保存。管理令牌永远不能写入此类规则。

每条规则读起来就是一句话。

一条规则对同一版本只触发一次,之后保持静默,直到有人再次移动标签。若在检查运行期间有人移动了标签,以人的操作为准。规则读取的是评分,评分不计入你的请求额度,规则也不调用任何模型。

指标、时间窗口、受保护标签和管理 API,请见提示词回滚规则。

# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "label": "staging",
    "metric": "thumbs_down_share_above",
    "threshold": 0.3,
    "min_samples": 100,
    "window_minutes": 60,
    "action": "rollback",
    "target_version": "previous"
  }'

与你现有的工具并用

你自己的收集器

每个请求也可以从请求路径作为 OpenTelemetry span 推送到你选择的收集器,端点和请求头在控制台中设置。运行记录和评分留在 INFRO;你的追踪数据留在团队已经在看的地方。

OpenTelemetry 导出

也在用 Langfuse?

两者可以一起使用。Langfuse 是一个开源的可观测性与评估平台,提供用于人工审阅的标注队列,以及运行你自己代码(包括检索和工具)的实验,这些是 INFRO 所没有的。INFRO 位于请求路径上:它负责路由、故障转移,并在调用你的提供商之前拒绝超限支出,它的评判器和实验也在同一路径上运行。将 INFRO 的 span 发送到 Langfuse 的经过测试的方案尚未发布。

INFRO 与 Langfuse 对比

常见问题

INFRO 能管理提示词吗?

可以,所有套餐均包含。把提示词保存为带标签(如 production 和 staging)的编号版本,并在聊天补全中通过 prompt 字段或 X-INFRO-Prompt 请求头指定。网关会在路由、模型允许列表、护栏和支出检查之前填入版本,因此每项检查读取的都是最终消息,且版本会记录在请求上。版本永不改变;回滚就是把标签移到较早的版本,请求会在五秒内开始使用它,无需部署。受保护的 production 标签由所有者或管理员在控制台中移动。

如何收集用户对 AI 回答的反馈?

对网关密钥的每个成功响应都带有 X-INFRO-Feedback-Token 响应头:这是 INFRO 签名的令牌,指向一个请求,有效期为七天。把它交给显示回答的页面,当用户点击点赞或点踩时,将其发送到 POST /v1/feedback。该端点无需 API 密钥,因此你的密钥永远不会到达浏览器,而该令牌只能为它自己的请求评分,别无他用。反馈会显示在该请求、其所属运行以及作答的提示词版本上,评分不计入你的请求额度。

INFRO 能评判 AI 回答的质量吗?

可以,通过评估器实现,所有套餐均包含。评估器是一份评分标准,由你选择的聊天模型通过网关、在你自己的某个提供商连接上应用于回答。它可以评判一部分实时流量(受你设定的每月支出限额约束),也可以按需评判最多 1,000 个已记录的请求,先给出估算并设有支出上限。每个评判结论都是其所评判请求上的一个评分,与你自己的评分和终端用户的反馈并列。评判在回答发送之后才开始,因此绝不会拖慢或改变回答。每次评判调用都是你提供商上的一个请求,由该提供商向你计费,并计入你套餐的请求额度。

INFRO 中的运行是什么?

同一工作流中携带相同追踪 id 的请求:一次智能体轮次、一次检索回答或一条文档流水线。在 X-INFRO-Trace-Id 请求头或 metadata.trace_id 中发送追踪 id,在 metadata 中发送工作流,GET /v1/runs 和控制台就会为每次运行列出一行,包含其请求、错误、耗时、模型、预估提供商费用、评分和提示词版本。一次运行涵盖经过 INFRO 的模型调用;你的向量数据库、检索和自有计算不在其数据之内。

我的应用能否获取提示词后自己调用提供商?

可以:GET /v1/prompts 会通过任何有权使用该提示词的网关密钥,返回某个版本的消息和设置。以这种方式使用的提示词不受强制约束,因为 INFRO 根本看不到这次调用:任何护栏、允许列表或支出限额都不适用,也没有请求记录该版本,响应中也会说明这一点。只有通过 INFRO 在聊天补全中指定提示词,才会应用这些检查。

如何在上线前测试提示词或模型的变更?

运行实验。一键从已记录的请求构建数据集,或以 JSONL 或 CSV 上传,然后通过网关在最多六个变体上重放:一个模型或路由、一个提示词版本和一组设置。你的评估器会评判每个回答。估算先行:每个变体的请求数和预估提供商费用。要开始运行,你需要设置不低于该估算的支出上限,一旦支出达到上限,运行即停止。比较结果显示每个变体的评分、错误率、p50 和 p95 延迟以及每个条目的预估费用;在控制台中使用 Promote,即可把提示词标签移到某个变体所运行的版本。

质量下降时,提示词能自动回滚吗?

可以,在 production 这类标签上设置回滚规则即可。规则每五分钟读取一次该标签所指版本所提供回答的评分,时间窗口由你选择:某项评分的平均值、通过/不通过类评分的通过率,或终端用户点踩的占比。当该数值越过你设定的限值,且已评分回答数达到最低数量时,规则会把标签退回到上一个版本,或只发出提醒。每次移动都会记入审计日志,并发送到你的提醒渠道。移动受保护标签的规则由所有者或管理员在控制台中保存。

关于 INFRO 的其他所有问题都在常见问题中。

开始使用

质量与控制,汇于一条记录。

经过路由、费用估算和检查的请求,正是被评分的那个请求,所有套餐均如此。