Jev-Entscheidungen über INFRO ausführen.

Das SDK von TypeSafe auf INFRO ausrichten

-Removed: TYPESAFE_API_KEY=<your TypeSafe key>+Added: TYPESAFE_API_KEY=<your INFRO gateway key>+Added: TYPESAFE_BASE_URL=https://api.infro.io+Added: TYPESAFE_DEFAULT_MODEL=jev-1.13.0  # optional: pin a version

curl https://api.infro.io/v1/systemone \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "jev-1.13.0",
    "state": "I was charged twice. Please refund one of them.",
    "questions": {
      "refund_request": { "type": "noul", "instructions": "Is the customer asking for a refund?" }
    }
  }'

Was INFRO mit jeder Entscheidung macht

1. 1

   Schlüsselbereich

   Zuerst wird der Gateway-Schlüssel geprüft. Ein Schlüssel kann auf TypeSafe, auf benannte Modelle, auf ein Projekt und auf eine Umgebung beschränkt werden.

2. 2

   Ausgabenlimit

   Bevor TypeSafe aufgerufen wird, wird die Größe der Anfrage in Bytes gegen jedes Ausgabenlimit reserviert, das für sie gilt – Organisation, Projekt, Schlüssel, Mitglied und Endkunde. Über einem blockierenden Limit wird die Anfrage abgelehnt, und TypeSafe wird nie aufgerufen.

3. 3

   Ihre TypeSafe-Verbindung

   Die Anfrage geht mit Ihrem eigenen Schlüssel an TypeSafe. Sind mehrere TypeSafe-Schlüssel verbunden, werden die Anfragen auf sie verteilt, und ein Schlüssel, der rate-limitiert oder abgelehnt wird, gibt die Anfrage an den nächsten weiter.

4. 4

   Antworten, Kosten und ein Protokolleintrag

   Die Antworten von TypeSafe kommen unverändert zurück, mit der antwortenden Version und usage.cost: der geschätzten TypeSafe-Gebühr zum Listenpreis von TypeSafe oder zu Ihrem ausgehandelten Preis. Jede Entscheidung wird mit Route, Verbindung, Versuchen und geschätzten Kosten protokolliert, und ihre Metadaten können an Ihren OpenTelemetry-Collector exportiert werden.

Was eine Antwort enthält

{
  "id": "req_…",
  "model": "jev-1.13.0",
  "answers": {
    "refund_request": { "type": "noul", "noul": 0.91 }
  },
  "usage": {
    "input_tokens": 1000,
    "output_tokens": 0,
    "cost": 0.000042,
    "price_source": "list"
  },
  "route": "primary",
  "route_name": null,
  "provider": "typesafe",
  "connection": "conn_…"
}

Wer was abrechnet

Gut zu wissen, bevor Sie starten

• Jev antwortet auf POST /v1/systemone, nicht auf Chat Completions; ein OpenAI-Client kann es nicht aufrufen.
• INFRO-Guardrails prüfen nur Chat Completions. Sie lesen keine Jev-Anfragen, und eine Guardrail-Richtlinie, die nicht prüfbare Endpunkte blockieren soll, lehnt POST /v1/systemone ab.
• TypeSafe setzt eigene Limits – 64k Tokens pro Anfrage und Rate-Limits, die es je nach Nachfrage anpasst (docs.typesafe.ai/models, geprüft am 6. Oktober 2026). INFRO gibt den 429 von TypeSafe mit dessen Retry-After zurück.
• Anfrage- und Antwortinhalte werden nur gespeichert, wenn Ihre Organisation das Prompt-Logging eingeschaltet hat.
• Der Playground der Konsole führt Jev noch nicht aus.

Praxisleitfäden zu Jev

• What is Jev? TypeSafe's System One model, explained

  Jev answers typed questions about your data with probabilities instead of text. How TypeSafe's System One API works, what it costs, and where it fits.

• Jev use cases: where typed AI decisions fit in a company

  Support triage, moderation, model routing, RAG reranking, claims and compliance: how companies can use TypeSafe's Jev, with request designs and thresholds.

• How Jev cuts the cost of AI decisions: the arithmetic

  Jev bills input tokens only, at $0.042 per million. Worked arithmetic for ticket triage, cascades and guardrail checks against chat models at list rates.

• Jev for LLM guardrails and model routing

  Using TypeSafe's Jev to screen prompts, check replies and tool calls, and pick which LLM answers: request designs, thresholds and where the checks sit.

Fragen

Brauche ich ein TypeSafe-Konto?

Ja. INFRO führt Jev auf Ihrem eigenen TypeSafe-Konto aus, mit Ihrem Schlüssel, und TypeSafe rechnet direkt mit Ihnen ab; INFRO ist nicht Teil dieser Transaktion.

Verändert INFRO die Antworten von Jev?

Nein. Die Antworten von TypeSafe werden so zurückgegeben, wie TypeSafe sie gesendet hat. INFRO ergänzt daneben die antwortende Version, die geschätzten Kosten, die Route und die Verbindung.

Kann ein Teil des Traffics weiter direkt an TypeSafe gehen?

Ja. Eine TypeSafe-Verbindung in INFRO ändert nichts an Ihrem TypeSafe-Konto. Direkt an TypeSafe gesendete Anfragen funktionieren weiter; INFRO protokolliert sie nicht.