실행
에이전트의 한 턴, 검색 기반 답변, 문서 파이프라인은 모두 여러 번의 모델 호출로 이루어집니다. 각 호출에 같은 트레이스 ID를 보내면 INFRO가 이를 하나의 실행으로, 그 실행에 든 공급자 비용과 함께 표시하므로, 질문은 어느 실행의 어느 단계인가가 됩니다.
실행당 한 행
트레이스 ID와 워크플로를 공유하는 요청은 하나의 실행입니다. 그 요청, 오류, 소요 시간, 모델, 예상 공급자 비용, 점수, 프롬프트 버전이 함께 표시됩니다.
중요한 실행 찾기
워크플로, 모델, 최종 사용자, 오류로 필터링하고, 최대 31일 기간에서 비용이나 소요 시간으로 정렬합니다.
그다음 각 단계
콘솔에서 실행을 열거나 트레이스 엔드포인트를 호출하면, 요청이 순서대로 각 단계의 비용과 함께 표시됩니다.
호출마다 헤더 하나.
트레이스 ID가 없는 요청은 어떤 실행에도 속하지 않습니다. 실행은 워크플로와 트레이스 ID를 함께 기준으로 묶입니다. 트레이스 ID는 사용자가 정하는 값이라 두 워크플로가 같은 ID를 쓸 수 있기 때문입니다.
실행은 INFRO를 거친 모델 호출을 다루며, 모든 응답에 그 사실을 밝힙니다. 전체 규약은 실행에 있습니다.
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"점수와 피드백
코드, 평가 모니터, 팀, 답변을 읽는 사람들이 보낸 점수는 같은 요청, 실행, 프롬프트 버전에 기록됩니다. 점수는 게이트웨이 요청이 아니며 요금제의 요청 허용량에 포함되지 않습니다.
답변을 읽는 사람들의 피드백
성공한 모든 응답에는 서명된 토큰이 포함됩니다. 답변을 보여 주는 페이지가 이를 좋아요 또는 싫어요와 함께 보내며, 브라우저에 API 키가 없습니다.
코드에서 보내는 점수
숫자, 예/아니요, 또는 라벨을 요청이나 실행 전체에 매기며, 코멘트는 선택 사항입니다.
평가 모니터와 팀에서
평가 모니터는 처리된 응답의 일부를 채점하고, 멤버는 콘솔에서 요청을 채점합니다. 모든 점수는 요청, 그 실행, 그 프롬프트 버전에 기록됩니다.
권한은 토큰에만 있습니다.
피드백 엔드포인트는 API 키가 필요 없고 모든 출처를 허용합니다. 토큰은 하나의 요청을 가리키고, 그 요청만 평가할 수 있으며, 7일 후 만료됩니다.
자체 서버에서 토큰 전달하기, 한도, 보존 기간은 점수와 피드백에서 확인하세요.
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});프롬프트 관리
프롬프트를 라벨이 붙은 번호 매긴 버전으로 보관하고, 채팅 완성 요청에서 그중 하나를 지정합니다. 게이트웨이가 검사 전에 채우므로 버전은 다른 모든 요청과 같은 허용 목록, 가드레일, 예산을 거치며, 버전은 요청에 기록됩니다.
바뀌지 않는 버전
버전은 변수가 포함된 메시지를 담고, 기본 모델과 설정을 가질 수 있습니다. 변경하면 새 버전이 됩니다.
검사 전에 채움
게이트웨이는 라우팅, 모델 허용 목록, 가드레일, 지출 확인 전에 버전을 채우므로, 각 단계가 최종 메시지를 읽습니다.
사람이 옮기는 production
staging 같은 라벨은 코드에서 옮깁니다. 보호된 production 라벨은 콘솔에서 소유자나 관리자가 옮기며, 모든 이동은 감사 로그에 남습니다.
버전별 기록
요청 수, 오류율, p50 및 p95 지연 시간, 요청당 예상 공급자 비용, 평균 점수, 피드백 비율을 선택한 기간 기준으로 보여 줍니다.
라벨을 옮겨 롤백
production을 이전 버전으로 돌리세요. 배포 없이 5초 안에 요청이 그 버전을 사용합니다.
필드 또는 헤더
요청 본문에서 변수와 함께 프롬프트를 지정하거나, 필드를 추가할 수 없는 클라이언트라면 헤더로 지정합니다.
프롬프트를 지정하면 나머지는 게이트웨이가 처리합니다.
응답은 어느 버전이 답했는지 알려 줍니다. 프롬프트는 채팅 완성 요청과, 코딩 에이전트의 Messages 및 Responses 요청에서 확인됩니다. 애플리케이션이 가져와 공급자에게 직접 보내는 프롬프트는 게이트웨이가 검사하지 않으며, 응답에서도 그렇게 알려 줍니다.
라벨, 변수, 보호된 라벨, 관리 API는 프롬프트 관리에서 확인하세요.
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'평가기
루브릭을 작성하고 연결된 채팅 모델 중 하나를 고르면, INFRO은(는) 그 모델로 게이트웨이를 통해 답변을 심사합니다. 대상은 실시간 트래픽 샘플이거나, 필요할 때 과거 요청입니다. 모든 판정은 심사한 요청의 점수로 기록됩니다.
직접 만든 루브릭, 어떤 채팅 모델이든
질문, 답변, 그리고 실험에서는 기대 출력을 담은 루브릭. 심사자는 숫자, 통과 또는 실패, 또는 지정한 범주 중 하나를 반환합니다.
실시간, 월간 한도 안에서
처리된 답변의 일부를 프로젝트, 모델, 프롬프트 버전 또는 워크플로로 필터링해 심사합니다. 평가자의 지출 한도에 도달하면 실시간 심사는 그달 동안 일시 중지됩니다.
또는 과거 요청을 필요할 때
기록된 요청 최대 1,000건을 백그라운드에서 심사합니다. 먼저 요청 수와 예상 공급자 비용을 보여 주며, 지출 상한에 도달하면 멈춥니다.
심사 호출도 다른 요청과 똑같은 요청입니다.
고객의 공급자 계정에서 실행되며 해당 공급자가 고객에게 청구합니다. 실시간 심사 호출은 심사 대상 요청을 보낸 키로 실행되므로 그 키의 모델 접근, 가드레일, 예산이 적용되며, 답변이 전송된 뒤에 시작되므로 답변을 늦추거나 바꾸지 않습니다. 모든 심사 호출은 요금제의 요청 허용량에 포함됩니다.
플레이스홀더, 출력 유형, 실패는 평가자에서 확인하세요.
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'데이터셋과 실험
이미 기록한 요청으로 데이터셋을 만들고, 게이트웨이를 통해 여러 모델, 프롬프트 버전, 설정으로 재실행해 각각의 점수와 비용을 비교합니다. 추정치와 상한을 먼저 확인한 뒤 실행됩니다.
트래픽에서 클릭 한 번으로
로그에 기록된 요청 하나, 또는 현재 필터에 표시된 모든 요청(최대 1,000건)을 추가합니다. 원하면 그 답변을 기대 출력으로 쓸 수 있습니다.
또는 업로드
최대 5 MB의 JSONL 또는 CSV, 또는 코드에서 보낸 항목. 문제가 있으면 해당 줄 또는 행을 알려 줍니다.
삭제할 때까지 보관
보관하기로 선택한 항목으로, 요청 로그 보존 기간과 연동되지 않으며 데이터셋, 그 프로젝트 또는 조직과 함께 삭제됩니다.
최대 6개 변형
변형마다 모델 또는 라우트, 프롬프트 버전, 설정을 지정합니다. 모든 답변을 최대 5개의 평가자가 심사하고, 점수, 오류율, 지연 시간, 항목당 예상 비용으로 비교합니다.
먼저 추정치, 그다음 상한
실행 전에 요청 수, 예상 공급자 비용, 요청 허용량 대비 비율을 보여 줍니다. 추정치 이상의 지출 상한이 필요하며, 실행은 그 상한에서 멈춥니다.
같은 검사를 거쳐
모든 호출은 자체 공급자에서 처리되는 게이트웨이 요청입니다. 모델 접근, 가드레일, 환경, 지출 한도가 적용됩니다.
상한을 설정하기 전에는 아무것도 실행되지 않습니다.
알려진 요율이 없는 모델은 가격 미정으로 표시되며, 그 지출을 상한 안에 묶어 둘 수 없으므로 실험을 시작할 수 없습니다. 실험의 심사자가 내린 판정은 실험 안에만 남으므로, 테스트가 프로덕션 점수를 바꾸는 일은 없습니다.
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'롤백 규칙
규칙은 프롬프트 하나의 라벨 하나를 감시합니다. 라벨이 가리키는 버전의 점수가 설정한 기준 아래로 내려가면, 규칙은 라벨을 이전 버전으로 되돌리거나 알림만 보냅니다. 사람이 콘솔에서 하는 것과 같은, 감사 기록이 남는 이동입니다.
세 가지 신호
점수 평균, 통과/실패 점수의 통과율, 또는 최종 사용자의 비추천 비율. 채점된 답변이 충분히 모이면 설정한 기간을 대상으로 5분마다 점검합니다.
되돌리기 또는 알림만
규칙은 라벨을 이전 버전이나 지정한 버전으로 되돌리거나 알림만 보냅니다. 어느 쪽이든 감사 로그에 남고 알림 채널로 전송됩니다.
보호된 라벨은 사람이 승인
보호된 라벨을 옮기는 규칙은 소유자 또는 관리자가 콘솔에서 저장합니다. 관리 토큰으로는 이런 규칙을 작성할 수 없습니다.
각 규칙은 하나의 문장처럼 읽힙니다.
규칙은 한 버전에 대해 한 번만 실행되고, 이후 누군가 라벨을 다시 옮길 때까지 동작하지 않습니다. 점검이 실행되는 동안 사람이 라벨을 옮기면 그 사람의 조작이 우선합니다. 규칙은 요청 허용량에 포함되지 않는 점수를 읽으며, 모델을 호출하지 않습니다.
지표, 기간, 보호된 라벨, 관리 API는 프롬프트 롤백 규칙에서 확인하세요.
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'기존 도구와 함께
모든 요청은 사용자가 선택한 수집기로 OpenTelemetry 스팬으로도 보낼 수 있으며, 요청 경로에서 전송되고 엔드포인트와 헤더는 콘솔에서 설정합니다. 실행과 점수는 INFRO에 남고, 트레이스는 팀이 이미 보고 있는 곳에 남습니다.
둘은 함께 쓸 수 있습니다. Langfuse는 오픈소스 관측 및 평가 플랫폼으로, 사람이 검토하는 주석 대기열과 검색과 도구까지 포함해 고객의 코드를 실행하는 실험을 갖추고 있으며, INFRO에는 이것이 없습니다. INFRO은(는) 요청 경로에 있어 공급자가 호출되기 전에 라우팅하고, 페일오버하고, 지출을 거부하며, 그 심사자와 실험도 같은 경로에서 실행됩니다. INFRO의 스팬을 Langfuse로 보내는 검증된 방법은 아직 공개되지 않았습니다.
FAQ
INFRO에서 프롬프트를 관리할 수 있나요?
예, 모든 요금제에서 가능합니다. 프롬프트를 production, staging 같은 라벨이 붙은 번호 매긴 버전으로 저장하고, 채팅 완성 요청에서 prompt 필드나 X-INFRO-Prompt 헤더로 지정합니다. 게이트웨이가 라우팅, 모델 허용 목록, 가드레일, 지출 확인 전에 버전을 채우므로 모든 검사가 최종 메시지를 읽으며, 버전은 요청에 기록됩니다. 버전은 바뀌지 않습니다. 롤백은 라벨을 이전 버전으로 옮기는 것이며, 요청은 배포 없이 5초 안에 그 버전을 사용합니다. 보호된 production 라벨은 콘솔에서 소유자나 관리자가 옮깁니다.
AI 답변에 대한 사용자 피드백은 어떻게 수집하나요?
게이트웨이 키에 대한 성공한 모든 응답에는 X-INFRO-Feedback-Token 헤더가 포함됩니다. INFRO가 서명한 토큰으로, 하나의 요청을 가리키며 7일 동안 유효합니다. 이를 답변을 보여 주는 페이지에 넘기고, 사용자가 좋아요 또는 싫어요를 누르면 POST /v1/feedback으로 보내세요. 이 엔드포인트는 API 키가 필요 없으므로 키가 브라우저에 전달되지 않으며, 토큰은 자신의 요청만 평가할 수 있고 그 외에는 쓸 수 없습니다. 피드백은 요청, 그 실행, 응답한 프롬프트 버전에 표시되며, 점수는 요청 허용량에 포함되지 않습니다.
INFRO가 AI 답변의 품질을 심사할 수 있나요?
네, 평가자를 사용하면 되며 모든 요금제에 포함됩니다. 평가자는 선택한 채팅 모델이 게이트웨이를 통해 고객의 공급자 연결 중 하나에서 답변에 적용하는 루브릭입니다. 설정한 월간 지출 한도 안에서 실시간 트래픽 샘플을 심사하거나, 필요할 때 기록된 요청 최대 1,000건을 먼저 추정치를 보여 주고 지출 상한을 두어 심사합니다. 각 판정은 심사한 요청의 점수로, 고객 자체의 점수와 최종 사용자 피드백과 함께 기록됩니다. 심사는 답변이 전송된 뒤에 시작되므로 답변을 늦추거나 바꾸지 않습니다. 각 심사 호출은 공급자에서 처리되는 요청이며, 해당 공급자가 고객에게 청구하고 요금제의 요청 허용량에 포함됩니다.
INFRO에서 실행이란 무엇인가요?
한 워크플로에서 같은 트레이스 ID를 가진 요청들입니다. 에이전트의 한 턴, 검색 기반 답변, 문서 파이프라인 등이 해당합니다. 트레이스 ID를 X-INFRO-Trace-Id 헤더나 metadata.trace_id로, 워크플로를 metadata로 보내면 GET /v1/runs와 콘솔이 실행당 한 행으로 요청, 오류, 소요 시간, 모델, 예상 공급자 비용, 점수, 프롬프트 버전을 보여 줍니다. 실행은 INFRO를 거친 모델 호출을 다루며, 벡터 데이터베이스, 검색, 자체 컴퓨팅은 수치에 포함되지 않습니다.
애플리케이션이 프롬프트를 가져와 직접 공급자를 호출할 수 있나요?
예. GET /v1/prompts는 해당 프롬프트를 쓸 수 있는 게이트웨이 키라면 버전의 메시지와 설정을 반환합니다. 이렇게 쓰는 프롬프트는 강제되지 않습니다. INFRO가 그 호출을 보지 못하기 때문입니다. 가드레일, 허용 목록, 지출 한도가 적용되지 않고 버전을 기록하는 요청도 없으며, 응답에서도 그렇게 알려 줍니다. 검사가 적용되는 것은 INFRO를 거치는 채팅 완성 요청에서 프롬프트를 지정할 때입니다.
프롬프트나 모델 변경을 출시 전에 어떻게 테스트하나요?
실험을 실행하세요. 기록된 요청으로 클릭 한 번에 데이터셋을 만들거나 JSONL 또는 CSV로 업로드한 다음, 게이트웨이를 통해 최대 6개의 변형(모델 또는 라우트, 프롬프트 버전, 설정)으로 재실행합니다. 평가자가 모든 답변을 심사합니다. 먼저 추정치로 변형별 요청 수와 예상 공급자 비용이 표시됩니다. 시작하려면 추정치 이상의 지출 상한을 설정해야 하며, 지출이 상한에 도달하면 실행이 멈춥니다. 비교에는 각 변형의 점수, 오류율, p50 및 p95 지연 시간, 항목당 예상 비용이 표시되며, 콘솔의 Promote는 프롬프트 라벨을 변형이 실행한 버전으로 옮깁니다.
품질이 떨어지면 프롬프트가 스스로 롤백될 수 있나요?
네. production 같은 라벨에 롤백 규칙을 설정하면 됩니다. 규칙은 5분마다, 선택한 기간 동안 그 라벨이 가리키는 버전에서 제공된 답변의 점수를 읽습니다. 점수의 평균, 통과/실패 점수의 통과율, 또는 최종 사용자의 비추천 비율입니다. 채점된 답변이 최소 개수 이상이고 그 수치가 설정한 기준을 넘으면, 규칙은 라벨을 이전 버전으로 되돌리거나 알림만 보냅니다. 모든 이동은 감사 로그에 기록되고 알림 채널로 전송됩니다. 보호된 라벨을 옮기는 규칙은 소유자 또는 관리자가 콘솔에서 저장합니다.
INFRO에 대한 그 밖의 모든 질문은 FAQ에 있습니다.