INFRO로 Jev 결정을 실행하세요.

TypeSafe SDK가 INFRO를 가리키게 하기

-Removed: TYPESAFE_API_KEY=<your TypeSafe key>+Added: TYPESAFE_API_KEY=<your INFRO gateway key>+Added: TYPESAFE_BASE_URL=https://api.infro.io+Added: TYPESAFE_DEFAULT_MODEL=jev-1.13.0  # optional: pin a version

curl https://api.infro.io/v1/systemone \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jev-1.13.0",
    "state": "I was charged twice. Please refund one of them.",
    "questions": {
      "refund_request": { "type": "noul", "instructions": "Is the customer asking for a refund?" }
    }
  }'

INFRO가 각 결정에 대해 하는 일

1. 1

   키 범위

   게이트웨이 키를 먼저 확인합니다. 키는 TypeSafe, 지정한 모델, 프로젝트, 환경으로 제한할 수 있습니다.

2. 2

   지출 한도

   TypeSafe를 호출하기 전에 요청 크기(바이트)를 적용되는 모든 지출 한도(조직, 프로젝트, 키, 멤버, 최종 고객)에 대해 예약합니다. 차단 한도를 넘으면 요청이 거부되며 TypeSafe는 호출되지 않습니다.

3. 3

   TypeSafe 연결

   요청은 자체 키로 TypeSafe에 전달됩니다. TypeSafe 키를 여러 개 연결하면 요청이 키들에 분산되며, 속도 제한에 걸리거나 거부된 키는 다음 키로 요청을 넘깁니다.

4. 4

   답변, 비용, 기록

   TypeSafe의 답변은 변경 없이 반환되며, 응답한 버전과 usage.cost가 함께 담깁니다. usage.cost는 TypeSafe 정가 또는 협상 요금 기준의 예상 TypeSafe 청구액입니다. 모든 결정은 라우트, 연결, 시도, 예상 비용과 함께 기록되며, 메타데이터는 OpenTelemetry 수집기로 내보낼 수 있습니다.

응답에 담기는 것

{
  "id": "req_…",
  "model": "jev-1.13.0",
  "answers": {
    "refund_request": { "type": "noul", "noul": 0.91 }
  },
  "usage": {
    "input_tokens": 1000,
    "output_tokens": 0,
    "cost": 0.000042,
    "price_source": "list"
  },
  "route": "primary",
  "route_name": null,
  "provider": "typesafe",
  "connection": "conn_…"
}

누가 무엇을 청구하나

시작하기 전에 알아 둘 점

• Jev는 채팅 완성이 아니라 POST /v1/systemone에서 응답하므로 OpenAI 클라이언트로는 호출할 수 없습니다.
• INFRO 가드레일은 채팅 완성만 검사합니다. Jev 요청은 읽지 않으며, 검사할 수 없는 엔드포인트를 차단하도록 설정된 가드레일 정책은 POST /v1/systemone를 거부합니다.
• TypeSafe는 자체 한도를 설정합니다. 요청당 64k 토큰, 그리고 수요 변화에 따라 조정하는 속도 제한입니다(docs.typesafe.ai/models, 2026년 10월 6일 확인). INFRO는 TypeSafe의 429를 Retry-After와 함께 그대로 반환합니다.
• 요청과 답변 본문은 조직에서 프롬프트 로깅을 켠 경우에만 저장됩니다.
• 콘솔 Playground에서는 아직 Jev를 실행할 수 없습니다.

Jev 실무 가이드

• What is Jev? TypeSafe's System One model, explained

  Jev answers typed questions about your data with probabilities instead of text. How TypeSafe's System One API works, what it costs, and where it fits.

• Jev use cases: where typed AI decisions fit in a company

  Support triage, moderation, model routing, RAG reranking, claims and compliance: how companies can use TypeSafe's Jev, with request designs and thresholds.

• How Jev cuts the cost of AI decisions: the arithmetic

  Jev bills input tokens only, at $0.042 per million. Worked arithmetic for ticket triage, cascades and guardrail checks against chat models at list rates.

• Jev for LLM guardrails and model routing

  Using TypeSafe's Jev to screen prompts, check replies and tool calls, and pick which LLM answers: request designs, thresholds and where the checks sit.

질문

TypeSafe 계정이 필요한가요?

네. INFRO는 자체 TypeSafe 계정에서 고객의 키로 Jev를 실행하며, TypeSafe가 고객에게 직접 청구합니다. INFRO는 그 거래에 관여하지 않습니다.

INFRO가 Jev의 답변을 바꾸나요?

아니요. TypeSafe의 답변은 TypeSafe가 보낸 그대로 반환됩니다. INFRO는 그 옆에 응답한 버전, 예상 비용, 라우트, 연결을 덧붙입니다.

일부 트래픽은 계속 TypeSafe로 직접 보낼 수 있나요?

네. INFRO의 TypeSafe 연결은 TypeSafe 계정에 아무런 변화를 주지 않습니다. TypeSafe로 직접 보내는 요청은 계속 작동하며, INFRO는 이를 기록하지 않습니다.