Jeden Lauf sehen, von jedem Leser hören, jeden Prompt versionieren.
Das Gateway, das Ihre Anfragen ohnehin durchlaufen, erfasst sie als Läufe mit ihren geschätzten Anbieterkosten, nimmt Scores und Feedback von Endnutzern zu ihnen entgegen und befüllt verwaltete Prompts vor seinen eigenen Prüfungen. Eine Integration, auf Ihren eigenen Anbieterkonten.
INFRO-Konten sind per Selbstregistrierung verfügbar. Katalog, Dokumentation und API-Vertrag sind öffentlich, das Gateway ist bereitgestellt, und alles über v1 hinaus ist als „Später“ markiert. Tarife und Testphase
Läufe
Ein Agent-Turn, eine Retrieval-Antwort oder eine Dokument-Pipeline besteht aus mehreren Modellaufrufen. Senden Sie mit jedem davon dieselbe Trace-ID, und INFRO listet sie als einen Lauf, mit dem, was der Lauf Sie bei Ihrem Anbieter gekostet hat, sodass die Frage lautet: welcher Lauf und welcher Schritt.
Eine Zeile pro Lauf
Anfragen mit derselben Trace-ID und demselben Workflow sind ein Lauf: seine Anfragen, Fehler, Dauer, Modelle, geschätzten Anbieterkosten, Scores und Prompt-Versionen.
Den Lauf finden, auf den es ankommt
Filtern Sie nach Workflow, Modell, Endnutzer oder Fehlern und sortieren Sie nach Kosten oder Dauer über ein Zeitfenster von bis zu 31 Tagen.
Dann jeden Schritt
Öffnen Sie einen Lauf in der Konsole oder rufen Sie den Trace-Endpunkt auf, um seine Anfragen der Reihe nach mit den Kosten jedes Schritts zu sehen.
Ein Header bei jedem Aufruf.
Eine Anfrage ohne Trace-ID gehört zu keinem Lauf. Läufe werden nach Workflow und Trace-ID gemeinsam gruppiert, denn Trace-IDs gehören Ihnen, und zwei Workflows können dieselbe wiederverwenden.
Ein Lauf umfasst die Modellaufrufe, die über INFRO gelaufen sind, und sagt das in jeder Antwort. Der vollständige Vertrag steht unter Läufe.
# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "X-INFRO-Trace-Id: run_42" \
-H "Content-Type: application/json" \
-d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
"messages": [{"role": "user", "content": "Where is my order?"}]}'
# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
-H "Authorization: Bearer $INFRO_API_KEY"Scores und Feedback
Scores aus Ihrem Code, von Eval-Monitoren, von Ihrem Team und von den Menschen, die Ihre Antworten lesen, landen bei derselben Anfrage, demselben Lauf und derselben Prompt-Version. Scores sind keine Gateway-Anfragen und zählen nicht zum Anfragekontingent Ihres Tarifs.
Feedback der Menschen, die die Antwort lesen
Jede erfolgreiche Antwort enthält ein signiertes Token. Die Seite, die die Antwort zeigt, sendet es mit Daumen hoch oder runter, ohne API-Schlüssel im Browser.
Scores aus Ihrem Code
Eine Zahl, ein Ja oder Nein oder ein Label, zu einer Anfrage oder einem ganzen Lauf, mit optionalem Kommentar.
Von Eval-Monitoren und Ihrem Team
Eval-Monitore bewerten einen Teil der ausgelieferten Antworten, und Mitglieder bewerten eine Anfrage in der Konsole. Jeder Score steht bei der Anfrage, ihrem Lauf und ihrer Prompt-Version.
Das Token ist die einzige Berechtigung.
Der Feedback-Endpunkt braucht keinen API-Schlüssel und akzeptiert jeden Origin. Ein Token benennt eine Anfrage, kann diese Anfrage bewerten und sonst nichts und läuft nach sieben Tagen ab.
Das Weiterreichen des Tokens über Ihren eigenen Server, Limits und Aufbewahrung finden Sie unter Scores und Feedback.
// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");
// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ token: feedbackToken, value: true }),
});Prompt-Management
Verwalten Sie Prompts als nummerierte Versionen mit Labels und benennen Sie einen bei einer Chat Completion. Die Version durchläuft dieselbe Freigabeliste, dieselben Guardrails und dasselbe Budget wie jede Anfrage, weil das Gateway sie davor befüllt, und die Version wird in der Anfrage erfasst.
Versionen, die sich nie ändern
Eine Version enthält Nachrichten mit Variablen und kann ein Standardmodell und Einstellungen mitführen. Eine Änderung ist eine neue Version.
Vor den Prüfungen befüllt
Das Gateway befüllt die Version vor Routing, Modell-Freigabelisten, Guardrails und der Ausgabenprüfung, sodass jede Prüfung die endgültigen Nachrichten liest.
Production von einer Person verschoben
Labels wie staging werden aus dem Code verschoben. Das geschützte Label production verschiebt ein Inhaber oder Admin in der Konsole, und jede Verschiebung steht im Audit-Log.
Die Bilanz jeder Version
Anfragen, Fehlerquote, p50- und p95-Latenz, geschätzte Anbieterkosten pro Anfrage, mittlerer Score und Feedback-Anteil, für das von Ihnen gewählte Zeitfenster.
Zurücksetzen durch Verschieben des Labels
Richten Sie production auf die frühere Version. Anfragen nutzen sie innerhalb von fünf Sekunden, ohne Deployment.
Ein Feld oder ein Header
Benennen Sie den Prompt mit seinen Variablen im Anfrage-Body oder in einem Header, wenn ein Client kein Feld hinzufügen kann.
Benennen Sie den Prompt; das Gateway erledigt den Rest.
Die Antwort nennt die Version, die geantwortet hat. Prompts werden bei Chat Completions sowie bei Messages- und Responses-Anfragen von Coding-Agents aufgelöst. Ein Prompt, den Ihre Anwendung abruft und direkt an einen Anbieter sendet, wird vom Gateway nicht geprüft, und die Antwort sagt das.
Labels, Variablen, geschützte Labels und die Management-API finden Sie unter Prompt-Management.
curl https://api.infro.io/v1/chat/completions \
-H "Authorization: Bearer $INFRO_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-5",
"prompt": {
"id": "support-reply",
"label": "production",
"variables": { "customer_name": "Ada" }
},
"messages": [{ "role": "user", "content": "Where is my order?" }]
}'Evaluatoren
Schreiben Sie ein Bewertungsschema, wählen Sie ein beliebiges verbundenes Chat-Modell, und INFRO lässt es Antworten über das Gateway beurteilen: eine Stichprobe des Live-Traffics oder vergangene Anfragen auf Abruf. Jedes Urteil landet als Score bei der Anfrage, die es beurteilt hat.
Ihr Bewertungsschema, ein beliebiges Chat-Modell
Ein Bewertungsschema mit der Frage, der Antwort und, in Experimenten, der erwarteten Ausgabe. Der Judge liefert eine Zahl, ein Bestanden oder Nicht bestanden oder eine Ihrer Kategorien.
Live, innerhalb eines monatlichen Limits
Beurteilen Sie einen Anteil der ausgelieferten Antworten, gefiltert nach Projekt, Modell, Prompt-Version oder Workflow. Die Live-Beurteilung pausiert für den Monat, wenn das Ausgabenlimit des Evaluators erreicht ist.
Oder vergangene Anfragen, auf Abruf
Beurteilen Sie bis zu 1.000 protokollierte Anfragen im Hintergrund, mit Anzahl der Anfragen und geschätzten Anbieterkosten vorab und einer Ausgabenobergrenze, an der der Lauf anhält.
Ein Judge-Aufruf ist eine Anfrage wie jede andere.
Er läuft auf Ihrem Anbieterkonto und wird Ihnen von diesem Anbieter in Rechnung gestellt. Ein Live-Judge-Aufruf läuft mit dem Schlüssel, der die beurteilte Anfrage gestellt hat, sodass Modellzugriff, Guardrails und Budgets dieses Schlüssels gelten, und er startet, nachdem die Antwort gesendet wurde, ohne sie je zu verlangsamen oder zu verändern. Jeder Judge-Aufruf zählt zum Anfragekontingent Ihres Tarifs.
Platzhalter, Ausgabetypen und Fehler finden Sie unter Evaluatoren.
# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"slug": "helpfulness",
"model": "openai/gpt-5.4",
"rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
"output": {"type": "numeric"},
"sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
"monthly_spend_limit": 25
}'Datensätze und Experimente
Bauen Sie einen Datensatz aus den Anfragen auf, die Sie bereits protokolliert haben, spielen Sie ihn über das Gateway mit verschiedenen Modellen, Prompt-Versionen und Einstellungen erneut ab und vergleichen Sie, welche Scores und Kosten jede Variante hatte – mit Schätzung vorab und einer Obergrenze.
Aus Ihrem Traffic mit einem Klick
Fügen Sie eine protokollierte Anfrage hinzu oder jede Anfrage, die die aktuellen Filter zeigen (bis zu 1.000), auf Wunsch mit ihrer Antwort als erwarteter Ausgabe.
Oder hochgeladen
JSONL oder CSV bis 5 MB oder Einträge, die aus Code gesendet werden. Ein Problem nennt die betroffene Zeile.
Aufbewahrt, bis Sie ihn löschen
Einträge, die Sie behalten wollten, unabhängig von der Aufbewahrung Ihres Anfrageprotokolls, und gelöscht mit dem Datensatz, seinem Projekt oder Ihrer Organisation.
Bis zu sechs Varianten
Ein Modell oder eine Route, eine Prompt-Version und Einstellungen pro Variante. Jede Antwort wird von bis zu fünf Evaluatoren beurteilt und nach Scores, Fehlerquote, Latenz und geschätzten Kosten pro Eintrag verglichen.
Erst die Schätzung, dann eine Obergrenze
Die Anzahl der Anfragen, die geschätzten Anbieterkosten und der Anteil an Ihrem Anfragekontingent, bevor etwas läuft. Eine Ausgabenobergrenze von mindestens der Schätzung ist erforderlich, und der Lauf hält an ihr an.
Durch dieselben Prüfungen
Jeder Aufruf ist eine Gateway-Anfrage auf Ihren eigenen Anbietern: Modellzugriff, Guardrails, Umgebung und Ausgabenlimits gelten.
Nichts läuft, bis Sie die Obergrenze festlegen.
Ein Modell ohne bekannten Preis wird als „ohne Preisangabe“ geführt, und das Experiment kann nicht starten, weil seine Ausgaben nicht unter der Obergrenze gehalten werden könnten. Die Urteile der Judges eines Experiments bleiben beim Experiment, sodass ein Test nie einen Produktions-Score verändert.
Varianten, Abbruchgründe und den Vergleich finden Sie unter Experimente; das Aufbauen und Hochladen von Einträgen unter Datensätze.
# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"dataset": "support-golden",
"variants": [
{"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
{"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
{"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
],
"evaluators": ["helpfulness"],
"dry_run": true
}'Rollback-Regeln
Eine Regel überwacht ein Label eines Prompts. Erzielt die Version, auf die es zeigt, Scores unter Ihrem Grenzwert, setzt die Regel das Label auf die vorherige Version zurück oder warnt nur – dieselbe im Audit-Log erfasste Verschiebung, die eine Person in der Konsole vornimmt.
Drei Signale
Der Mittelwert eines Scores, die Bestehensquote eines Bestanden/Nicht-bestanden-Scores oder der Anteil „Daumen runter“ Ihrer Endnutzer, alle fünf Minuten über Ihr Zeitfenster geprüft, sobald genug Antworten bewertet sind.
Zurück oder nur eine Warnung
Die Regel setzt das Label auf die vorherige oder eine von Ihnen benannte Version zurück oder warnt nur. In beiden Fällen steht es im Audit-Log und geht an Ihre Alarmkanäle.
Geschützte Labels, von einer Person freigegeben
Eine Regel, die ein geschütztes Label verschiebt, speichert ein Inhaber oder Admin in der Konsole. Ein Management-Token schreibt nie eine solche Regel.
Jede Regel liest sich wie ein Satz.
Eine Regel greift einmal pro Version und bleibt dann still, bis jemand das Label erneut verschiebt. Verschiebt eine Person das Label, während die Prüfung läuft, setzt sich die Person durch. Regeln lesen Scores, die nicht zu Ihrem Anfragekontingent zählen, und rufen kein Modell auf.
Metriken, Zeitfenster, geschützte Labels und die Management-API finden Sie unter Prompt-Rollback-Regeln.
# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
-H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"label": "staging",
"metric": "thumbs_down_share_above",
"threshold": 0.3,
"min_samples": 100,
"window_minutes": 60,
"action": "rollback",
"target_version": "previous"
}'Neben Ihren Tools
Jede Anfrage kann außerdem als OpenTelemetry-Span aus dem Anfragepfad an einen Collector Ihrer Wahl gesendet werden, mit Endpunkt und Headern in der Konsole festgelegt. Läufe und Scores bleiben in INFRO; Ihre Traces bleiben dort, wo Ihr Team sie bereits liest.
Sie laufen zusammen. Langfuse ist eine Open-Source-Plattform für Observability und Evaluation, mit Annotationswarteschlangen für menschliche Prüfung und Experimenten, die Ihren eigenen Code ausführen, Retrieval und Tools eingeschlossen, was INFRO nicht hat. INFRO sitzt im Anfragepfad: Es routet, schaltet bei Ausfällen um und lehnt Ausgaben ab, bevor Ihr Anbieter aufgerufen wird, und seine Judges und Experimente laufen auf demselben Pfad. Ein getestetes Rezept, um die Spans von INFRO an Langfuse zu senden, ist noch nicht veröffentlicht.
FAQ
Kann INFRO Prompts verwalten?
Ja, in jedem Tarif. Speichern Sie einen Prompt als nummerierte Versionen mit Labels wie production und staging und benennen Sie ihn bei einer Chat Completion mit einem Feld prompt oder dem Header X-INFRO-Prompt. Das Gateway befüllt die Version vor Routing, Modell-Freigabelisten, Guardrails und der Ausgabenprüfung, sodass jede Prüfung die endgültigen Nachrichten liest, und die Version wird in der Anfrage erfasst. Eine Version ändert sich nie; ein Rollback ist das Verschieben des Labels auf eine frühere Version, die Anfragen innerhalb von fünf Sekunden und ohne Deployment nutzen. Das geschützte Label production verschiebt ein Inhaber oder Admin in der Konsole.
Wie sammle ich Nutzerfeedback zu KI-Antworten?
Jede erfolgreiche Antwort auf einen Gateway-Schlüssel enthält den Header X-INFRO-Feedback-Token: ein von INFRO signiertes Token, das eine einzige Anfrage benennt und sieben Tage gültig ist. Geben Sie es an die Seite weiter, die die Antwort zeigt, und wenn die Person auf Daumen hoch oder runter klickt, senden Sie es an POST /v1/feedback. Dieser Endpunkt braucht keinen API-Schlüssel, sodass Ihr Schlüssel nie den Browser erreicht, und das Token kann seine eigene Anfrage bewerten und sonst nichts. Das Feedback wird bei der Anfrage, ihrem Lauf und der Prompt-Version angezeigt, die geantwortet hat, und Scores zählen nicht zu Ihrem Anfragekontingent.
Kann INFRO die Qualität von KI-Antworten beurteilen?
Ja, mit Evaluatoren, in jedem Tarif. Ein Evaluator ist ein Bewertungsschema, das ein Chat-Modell Ihrer Wahl auf Antworten anwendet, über eine Ihrer eigenen Anbieterverbindungen durch das Gateway. Er beurteilt eine Stichprobe des Live-Traffics, begrenzt durch ein monatliches Ausgabenlimit, das Sie festlegen, oder bis zu 1.000 protokollierte Anfragen auf Abruf, mit Schätzung vorab und einer Ausgabenobergrenze. Jedes Urteil ist ein Score zu der Anfrage, die es beurteilt hat, neben Ihren eigenen Scores und dem Feedback Ihrer Endnutzer. Die Beurteilung beginnt, nachdem die Antwort gesendet wurde, sodass sie die Antwort nie verlangsamt oder verändert. Jeder Judge-Aufruf ist eine Anfrage bei Ihrem Anbieter, wird Ihnen von diesem Anbieter in Rechnung gestellt und zählt zum Anfragekontingent Ihres Tarifs.
Was ist ein Lauf in INFRO?
Die Anfragen eines Workflows, die dieselbe Trace-ID trugen: ein Agent-Turn, eine Retrieval-Antwort oder eine Dokument-Pipeline. Senden Sie die Trace-ID im Header X-INFRO-Trace-Id oder in metadata.trace_id und den Workflow in metadata, und GET /v1/runs sowie die Konsole listen eine Zeile pro Lauf mit seinen Anfragen, Fehlern, Dauer, Modellen, geschätzten Anbieterkosten, Scores und Prompt-Versionen. Ein Lauf umfasst die Modellaufrufe, die über INFRO gelaufen sind; Ihre Vektordatenbank, Ihr Retrieval und Ihre eigene Rechenleistung sind nicht in seinen Zahlen enthalten.
Kann meine Anwendung einen Prompt abrufen und den Anbieter selbst aufrufen?
Ja: GET /v1/prompts liefert die Nachrichten und Einstellungen einer Version mit jedem Gateway-Schlüssel, der den Prompt verwenden darf. Ein so verwendeter Prompt wird nicht durchgesetzt, weil INFRO den Aufruf nie sieht: Keine Guardrail, keine Freigabeliste und kein Ausgabenlimit greift, keine Anfrage erfasst die Version, und die Antwort sagt das. Erst wenn Sie den Prompt bei einer Chat Completion über INFRO benennen, werden die Prüfungen angewendet.
Wie teste ich eine Prompt- oder Modelländerung, bevor sie live geht?
Führen Sie ein Experiment aus. Bauen Sie mit einem Klick einen Datensatz aus protokollierten Anfragen auf oder laden Sie einen als JSONL oder CSV hoch, und spielen Sie ihn dann über das Gateway mit bis zu sechs Varianten erneut ab: ein Modell oder eine Route, eine Prompt-Version und Einstellungen. Ihre Evaluatoren beurteilen jede Antwort. Die Schätzung kommt zuerst: die Anzahl der Anfragen und die geschätzten Anbieterkosten pro Variante. Zum Starten legen Sie eine Ausgabenobergrenze fest, die mindestens dieser Schätzung entspricht, und der Lauf hält an, wenn seine Ausgaben sie erreichen. Der Vergleich zeigt Scores, Fehlerquote, p50- und p95-Latenz und geschätzte Kosten pro Eintrag jeder Variante, und „Promote“ in der Konsole verschiebt ein Prompt-Label auf die Version, die eine Variante ausgeführt hat.
Kann ein Prompt von selbst zurückgesetzt werden, wenn die Qualität sinkt?
Ja, mit einer Rollback-Regel auf einem Label wie production. Alle fünf Minuten liest die Regel die Scores der Antworten, die von der Version ausgeliefert wurden, auf die dieses Label zeigt, über ein Zeitfenster Ihrer Wahl: den Mittelwert eines Scores, die Bestehensquote eines Bestanden/Nicht-bestanden-Scores oder den Anteil „Daumen runter“ Ihrer Endnutzer. Überschreitet der Wert Ihren Grenzwert bei mindestens der Mindestzahl bewerteter Antworten, setzt die Regel das Label auf die vorherige Version zurück oder warnt nur. Jede Verschiebung steht im Audit-Log und wird an Ihre Warnkanäle gesendet. Eine Regel, die ein geschütztes Label verschiebt, speichert ein Inhaber oder Admin in der Konsole.
Alle anderen Fragen zu INFRO stehen in den FAQ.
Loslegen
Qualität und Kontrolle in einem Datensatz.
Die Anfrage, die geroutet, bepreist und geprüft wurde, ist die Anfrage, die bewertet wurde, in jedem Tarif.