コンテンツへスキップ

各実行を見て、各読み手の声を聞き、各プロンプトをバージョン管理する。

リクエストがすでに通っているゲートウェイが、それらを推定プロバイダー費用付きの実行として記録し、スコアとエンドユーザーのフィードバックを受け取り、自身のチェックの前に管理プロンプトを埋め込みます。1つの統合で、お客様自身のプロバイダーアカウント上で動作します。

INFROのアカウントはセルフサービスで作成できます。 カタログ、ドキュメント、API仕様は公開済みで、ゲートウェイもデプロイ済みです。v1以降の機能には「今後提供」と表示しています。 プランとトライアル

実行

エージェントの1ターン、検索に基づく回答、ドキュメントパイプラインは、いずれも複数のモデル呼び出しで構成されます。それぞれに同じトレースIDを付けて送ると、INFROはそれらを1つの実行として、その実行のプロバイダー費用とともに一覧表示します。問いは、どの実行のどのステップか、になります。

  • 実行ごとに1行

    トレースIDとワークフローを共有するリクエストは1つの実行です。そのリクエスト、エラー、所要時間、モデル、推定プロバイダー費用、スコア、プロンプトバージョンがまとまります。

  • 重要な実行を見つける

    ワークフロー、モデル、エンドユーザー、エラーで絞り込み、最大31日間の期間でコストや所要時間で並べ替えられます。

  • 次に各ステップ

    コンソールで実行を開くか、トレースエンドポイントを呼び出すと、そのリクエストが順番に、各ステップのコストとともに表示されます。

各呼び出しにヘッダーを1つ。

トレースIDのないリクエストは、どの実行にも属しません。実行はワークフローとトレースIDの組み合わせでまとめられます。トレースIDはお客様が決めるものであり、2つのワークフローが同じIDを使うことがあるためです。

実行はINFROを通ったモデル呼び出しを対象とし、すべての回答でそのことを明示します。完全な仕様は実行のページにあります。

# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "X-INFRO-Trace-Id: run_42" \
  -H "Content-Type: application/json" \
  -d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
       "messages": [{"role": "user", "content": "Where is my order?"}]}'

# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
  -H "Authorization: Bearer $INFRO_API_KEY"

スコアとフィードバック

お客様のコード、評価モニター、チーム、回答を読む人からのスコアは、同じリクエスト、実行、プロンプトバージョンに記録されます。スコアはゲートウェイのリクエストではなく、プランのリクエスト利用枠に含まれません。

  • 回答を読む人からのフィードバック

    成功したレスポンスにはすべて署名付きトークンが付きます。回答を表示するページが、それを高評価または低評価と一緒に送信します。ブラウザーにAPIキーは置きません。

  • コードからのスコア

    数値、はい/いいえ、またはラベルを、リクエストまたは実行全体に付けられます。コメントは任意です。

  • 評価モニターとチームから

    評価モニターは提供した回答の一部を採点し、メンバーはコンソールからリクエストを採点できます。すべてのスコアは、リクエスト、その実行、そのプロンプトバージョンに記録されます。

権限を持つのはトークンだけです。

フィードバックエンドポイントはAPIキーを必要とせず、どのオリジンからも受け付けます。トークンは1つのリクエストを指し、そのリクエストだけを評価でき、7日後に失効します。

自社サーバーからのトークンの中継、制限、保持期間についてはスコアとフィードバックをご覧ください。

// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");

// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ token: feedbackToken, value: true }),
});

プロンプト管理

プロンプトをラベル付きの番号付きバージョンとして保持し、チャット補完でその1つを指定します。ゲートウェイがチェックの前に埋め込むため、バージョンは他のすべてのリクエストと同じ許可リスト、ガードレール、予算を通り、そのバージョンがリクエストに記録されます。

  • 変わらないバージョン

    バージョンは変数を含むメッセージを保持し、デフォルトのモデルと設定を持たせることもできます。変更すると新しいバージョンになります。

  • チェックの前に埋め込み

    ゲートウェイはルーティング、モデルの許可リスト、ガードレール、支出チェックの前にバージョンを埋め込むため、それぞれが最終的なメッセージを読みます。

  • productionを動かすのは人

    stagingなどのラベルはコードから移動できます。保護されたproductionラベルはコンソールでオーナーまたは管理者が移動し、すべての移動が監査ログに残ります。

  • 各バージョンの記録

    リクエスト数、エラー率、p50とp95のレイテンシー、リクエストあたりの推定プロバイダー費用、平均スコア、フィードバックの割合を、選んだ期間で表示します。

  • ラベルを移動してロールバック

    productionを以前のバージョンに向けます。デプロイなしで、5秒以内にリクエストがそのバージョンを使います。

  • フィールドまたはヘッダー

    リクエストボディで変数とともにプロンプトを指定します。フィールドを追加できないクライアントではヘッダーで指定します。

プロンプトを指定すれば、あとはゲートウェイが処理します。

レスポンスは、どのバージョンが回答したかを示します。プロンプトは、チャット補完と、コーディングエージェントからのMessagesおよびResponsesのリクエストで解決されます。アプリケーションが取得してプロバイダーに直接送るプロンプトはゲートウェイによるチェックを受けず、回答でもそのことが示されます。

ラベル、変数、保護されたラベル、管理APIについてはプロンプト管理をご覧ください。

curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5",
    "prompt": {
      "id": "support-reply",
      "label": "production",
      "variables": { "customer_name": "Ada" }
    },
    "messages": [{ "role": "user", "content": "Where is my order?" }]
  }'

評価器

ルーブリックを書き、接続済みの任意のチャットモデルを選ぶと、INFROがそのモデルにゲートウェイ経由で回答を判定させます。対象は本番トラフィックのサンプル、または必要に応じて過去のリクエストです。すべての判定は、判定したリクエストのスコアとして記録されます。

  • 独自のルーブリック、任意のチャットモデル

    質問、回答、そして実験では期待される出力を含むルーブリック。ジャッジは数値、合格/不合格、または設定したカテゴリーのいずれかを返します。

  • 本番トラフィックを月間上限内で

    提供した回答の一部を、プロジェクト、モデル、プロンプトバージョン、またはワークフローで絞り込んで判定します。評価器の支出上限に達すると、本番トラフィックの判定はその月の間停止します。

  • または過去のリクエストを必要に応じて

    ログに記録した最大1,000件のリクエストをバックグラウンドで判定します。最初にリクエスト数と推定プロバイダー費用を示し、支出上限に達すると停止します。

ジャッジ呼び出しも、ほかと同じ1つのリクエストです。

お客様のプロバイダーアカウントで実行され、そのプロバイダーからお客様に請求されます。本番トラフィックに対するジャッジ呼び出しは、判定対象のリクエストを送ったキーとして実行されるため、そのキーのモデルアクセス、ガードレール、予算が適用されます。また、回答の送信後に開始されるため、回答を遅らせたり変えたりすることはありません。すべてのジャッジ呼び出しは、プランのリクエスト利用枠に含まれます。

プレースホルダー、出力タイプ、失敗については評価器をご覧ください。

# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "slug": "helpfulness",
    "model": "openai/gpt-5.4",
    "rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
    "output": {"type": "numeric"},
    "sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
    "monthly_spend_limit": 25
  }'

データセットと実験

すでにログに記録したリクエストからデータセットを作成し、ゲートウェイを通して複数のモデル、プロンプトバージョン、設定で再実行し、それぞれのスコアとコストを比較します。見積もりと上限を確認したうえで実行されます。

  • トラフィックからワンクリックで

    ログに記録されたリクエスト、または現在のフィルターで表示されているすべてのリクエスト(最大1,000件)を追加します。必要に応じて、その回答を期待される出力にできます。

  • またはアップロード

    最大5 MBのJSONLまたはCSV、あるいはコードから送信したアイテム。問題がある場合は、該当する行が示されます。

  • 削除するまで保持

    保持すると選んだアイテムで、リクエストログの保持期間には連動せず、データセット、そのプロジェクト、または組織とともに削除されます。

  • 最大6つのバリアント

    バリアントごとにモデルまたはルート、プロンプトバージョン、設定を指定します。すべての回答を最大5つの評価器で判定し、スコア、エラー率、レイテンシ、アイテムあたりの推定費用で比較します。

  • まず見積もり、次に上限

    実行前に、リクエスト数、推定プロバイダー費用、リクエスト利用枠に占める割合が示されます。見積もり以上の支出上限の設定が必要で、実行はその上限で停止します。

  • 同じチェックを通過

    すべての呼び出しは、自社のプロバイダー上のゲートウェイリクエストです。モデルアクセス、ガードレール、環境、支出上限が適用されます。

上限を設定するまで、何も実行されません。

料金が不明なモデルは価格未設定として表示され、その支出を上限内に抑えられないため、実験を開始できません。実験のジャッジによる判定は実験の中にとどまるため、テストが本番のスコアを動かすことはありません。

バリアント、停止理由、比較については実験を、アイテムの作成とアップロードについてはデータセットをご覧ください。

# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "dataset": "support-golden",
    "variants": [
      {"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
      {"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
      {"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
    ],
    "evaluators": ["helpfulness"],
    "dry_run": true
  }'

ロールバックルール

ルールは1つのプロンプトの1つのラベルを監視します。ラベルが指すバージョンのスコアが設定した基準値を下回ると、ルールはラベルを前のバージョンに戻すか、アラートだけを送ります。これは、人がコンソールで行うのと同じ、監査対象の移動です。

  • 3つのシグナル

    スコアの平均、合格/不合格スコアの合格率、またはエンドユーザーの低評価の割合。採点済みの回答が十分にそろえば、設定した期間を対象に5分ごとにチェックします。

  • 元に戻すか、アラートのみ

    ルールはラベルを前のバージョンまたは指定したバージョンに戻すか、アラートだけを送ります。どちらの場合も監査ログに記録され、アラートチャネルに送信されます。

  • 保護されたラベルは人が承認

    保護されたラベルを移動するルールは、オーナーまたは管理者がコンソールで保存します。管理トークンでこのルールを書き込むことはできません。

各ルールは1つの文として読めます。

ルールは1つのバージョンにつき1回だけ発動し、その後は誰かが再びラベルを移動するまで動作しません。チェックの実行中に人がラベルを移動した場合は、その人の操作が優先されます。ルールが読むのはスコアで、スコアはリクエスト利用枠に含まれず、ルールがモデルを呼び出すこともありません。

指標、期間、保護されたラベル、管理APIについてはプロンプトのロールバックルールをご覧ください。

# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "label": "staging",
    "metric": "thumbs_down_share_above",
    "threshold": 0.3,
    "min_samples": 100,
    "window_minutes": 60,
    "action": "rollback",
    "target_version": "previous"
  }'

既存のツールと併用

お客様自身のコレクター

すべてのリクエストは、お客様が選んだコレクターへOpenTelemetryスパンとしてプッシュすることもできます。リクエストの経路から送信され、エンドポイントとヘッダーはコンソールで設定します。実行とスコアはINFROに残り、トレースはチームがすでに見ている場所に残ります。

OpenTelemetryエクスポート

Langfuseも使っていますか?

両者は併用できます。Langfuseはオープンソースのオブザーバビリティと評価のプラットフォームで、人によるレビューのためのアノテーションキューや、検索やツールを含めてお客様自身のコードを実行する実験を備えていますが、INFROにはこれらがありません。INFROはリクエストの経路上にあり、プロバイダーが呼び出される前にルーティング、フェイルオーバー、支出の拒否を行います。そのジャッジと実験も同じ経路上で実行されます。INFROのスパンをLangfuseに送るための検証済みの手順は、まだ公開されていません。

INFROとLangfuseの比較

よくある質問

INFROでプロンプトを管理できますか?

はい、すべてのプランで可能です。プロンプトをproductionやstagingなどのラベル付きの番号付きバージョンとして保存し、チャット補完でpromptフィールドまたはX-INFRO-Promptヘッダーで指定します。ゲートウェイはルーティング、モデルの許可リスト、ガードレール、支出チェックの前にバージョンを埋め込むため、すべてのチェックが最終的なメッセージを読み、バージョンはリクエストに記録されます。バージョンは変更されません。ロールバックはラベルを以前のバージョンに移動することで、リクエストは5秒以内に、デプロイなしでそれを使います。保護されたproductionラベルの移動は、コンソールでオーナーまたは管理者が行います。

AIの回答に対するユーザーフィードバックはどう集めますか?

ゲートウェイキーへの成功したレスポンスには、すべてX-INFRO-Feedback-Tokenヘッダーが付きます。これはINFROが署名したトークンで、1つのリクエストを指し、7日間有効です。回答を表示するページにこれを渡し、利用者が高評価または低評価をクリックしたら、POST /v1/feedbackに送信します。このエンドポイントはAPIキーを必要としないため、お客様のキーがブラウザーに渡ることはありません。トークンが評価できるのは自分のリクエストだけで、それ以外には使えません。フィードバックはリクエスト、その実行、回答したプロンプトバージョンに表示され、スコアはリクエスト利用枠に含まれません。

INFROはAIの回答の品質を判定できますか?

はい。評価器を使えば可能で、すべてのプランに含まれます。評価器は、選んだチャットモデルが、ゲートウェイを通して自社のプロバイダー接続のいずれかで回答に適用するルーブリックです。設定した月間の支出上限内で本番トラフィックのサンプルを判定するか、必要に応じてログに記録した最大1,000件のリクエストを、最初に見積もりを示し支出上限を設けて判定します。各判定は、判定したリクエストのスコアとして、お客様自身のスコアやエンドユーザーのフィードバックと並んで記録されます。判定は回答の送信後に始まるため、回答を遅らせたり変えたりすることはありません。各ジャッジ呼び出しはプロバイダー上の1つのリクエストで、そのプロバイダーからお客様に請求され、プランのリクエスト利用枠に含まれます。

INFROにおける実行とは何ですか?

1つのワークフローで同じトレースIDを持つリクエストの集まりです。エージェントの1ターン、検索に基づく回答、ドキュメントパイプラインなどです。トレースIDをX-INFRO-Trace-Idヘッダーまたはmetadata.trace_idで、ワークフローをmetadataで送ると、GET /v1/runsとコンソールが実行ごとに1行を表示し、そのリクエスト、エラー、所要時間、モデル、推定プロバイダー費用、スコア、プロンプトバージョンを示します。実行が対象とするのはINFROを通ったモデル呼び出しです。ベクトルデータベース、検索、お客様自身のコンピューティングは数値に含まれません。

アプリケーションがプロンプトを取得して、自分でプロバイダーを呼び出すことはできますか?

はい。GET /v1/promptsは、そのプロンプトを使用できるゲートウェイキーであれば、バージョンのメッセージと設定を返します。この方法で使うプロンプトには強制力がありません。INFROはその呼び出しを見ないためです。ガードレール、許可リスト、支出上限はいずれも適用されず、バージョンを記録するリクエストもなく、回答でもそのことが示されます。チェックが適用されるのは、INFROを通したチャット補完でプロンプトを指定した場合です。

プロンプトやモデルの変更を、リリース前にテストするにはどうすればよいですか?

実験を実行します。ログに記録したリクエストからワンクリックでデータセットを作成するか、JSONLまたはCSVでアップロードし、ゲートウェイを通して最大6つのバリアント(モデルまたはルート、プロンプトバージョン、設定)で再実行します。評価器がすべての回答を判定します。最初に見積もりとして、バリアントごとのリクエスト数と推定プロバイダー費用が示されます。開始するには、見積もり以上の支出上限を設定します。支出が上限に達すると実行は停止します。比較には、各バリアントのスコア、エラー率、p50とp95のレイテンシー、アイテムあたりの推定コストが表示され、コンソールの「Promote」で、バリアントが実行したバージョンにプロンプトのラベルを移動できます。

品質が下がったとき、プロンプトを自動でロールバックできますか?

はい。productionなどのラベルにロールバックルールを設定します。ルールは5分ごとに、そのラベルが指すバージョンから提供された回答のスコアを、選んだ期間で読み取ります:スコアの平均、合格/不合格スコアの合格率、またはエンドユーザーの低評価の割合です。採点済みの回答が最小件数以上あり、その数値が設定した基準値を超えると、ルールはラベルを前のバージョンに戻すか、アラートだけを送ります。すべての移動は監査ログに記録され、アラートチャネルに送られます。保護されたラベルを移動するルールは、オーナーまたは管理者がコンソールで保存します。

INFROに関するその他の質問は、よくある質問にあります。

始める

品質とコントロールを1つの記録に。

ルーティングされ、価格が算出され、チェックされたリクエストが、そのまま採点されたリクエストです。すべてのプランで。