Naar de inhoud

Zie elke run, hoor elke lezer, beheer elke prompt in versies.

De gateway waar je verzoeken al doorheen gaan, legt ze vast als runs met hun geschatte providerkosten, neemt er scores en feedback van eindgebruikers op aan, en vult beheerde prompts in vóór zijn eigen controles. Eén integratie, op je eigen provideraccounts.

INFRO-accounts zijn selfservice. De catalogus, de documentatie en het API-contract zijn openbaar, de gateway is uitgerold, en alles na v1 is gemarkeerd als Later. Plannen en proefperiode

Runs

Een agentbeurt, een retrieval-antwoord of een documentpipeline bestaat uit meerdere modelaanroepen. Stuur met elk ervan één trace-ID mee en INFRO toont ze als één run, met wat de run bij je provider kostte, zodat de vraag wordt: welke run en welke stap.

  • Eén rij per run

    Verzoeken met dezelfde trace-ID en workflow vormen één run: zijn verzoeken, fouten, duur, modellen, geschatte providerkosten, scores en promptversies.

  • Vind de run die ertoe doet

    Filter op workflow, model, eindgebruiker of fouten, en sorteer op kosten of duur over een periode van maximaal 31 dagen.

  • Dan elke stap

    Open een run in de console, of roep het trace-endpoint aan, voor zijn verzoeken op volgorde met de kosten van elke stap.

Eén header bij elke aanroep.

Een verzoek zonder trace-ID hoort bij geen enkele run. Runs worden gegroepeerd op workflow en trace-ID samen, omdat trace-ID's van jou zijn en twee workflows er één kunnen hergebruiken.

Een run omvat de modelaanroepen die via INFRO liepen, en zegt dat in elk antwoord. Het volledige contract staat op Runs.

# Send the same trace id on every call of one run
curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "X-INFRO-Trace-Id: run_42" \
  -H "Content-Type: application/json" \
  -d '{"model": "anthropic/claude-sonnet-5", "metadata": {"workflow": "support-answer"},
       "messages": [{"role": "user", "content": "Where is my order?"}]}'

# Then list the costliest failing runs of that workflow
curl "https://api.infro.io/v1/runs?workflow=support-answer&sort=costliest&has_errors=true" \
  -H "Authorization: Bearer $INFRO_API_KEY"

Scores en feedback

Scores vanuit je code, van eval-monitors, van je team en van de mensen die je antwoorden lezen, komen op hetzelfde verzoek, dezelfde run en dezelfde promptversie terecht. Scores zijn geen gatewayverzoeken en tellen niet mee voor het verzoekquotum van je plan.

  • Feedback van de mensen die het antwoord lezen

    Elk geslaagd antwoord bevat een ondertekend token. De pagina die het antwoord toont, stuurt het mee met een duim omhoog of omlaag, zonder API-sleutel in de browser.

  • Scores vanuit je code

    Een getal, een ja of nee, of een label, op een verzoek of op een hele run, met optioneel commentaar.

  • Van eval-monitors en je team

    Eval-monitors scoren een deel van de bediende antwoorden, en leden scoren een verzoek vanuit de console. Elke score staat op het verzoek, de run en de promptversie.

Het token is de enige autorisatie.

Het feedback-endpoint heeft geen API-sleutel nodig en accepteert elke origin. Een token noemt één verzoek, kan dat verzoek beoordelen en niets anders, en verloopt na zeven dagen.

Het token doorgeven vanaf je eigen server, limieten en bewaartermijn staan op Scores en feedback.

// The answer's response carried X-INFRO-Feedback-Token.
const feedbackToken = res.headers.get("X-INFRO-Feedback-Token");

// When the person clicks thumbs up: no API key in the browser.
await fetch("https://api.infro.io/v1/feedback", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ token: feedbackToken, value: true }),
});

Promptbeheer

Bewaar prompts als genummerde versies met labels, en noem er één in een chat completion. De versie gaat door dezelfde allowlist, guardrails en hetzelfde budget als elk verzoek, omdat de gateway haar daarvóór invult, en de versie wordt bij het verzoek vastgelegd.

  • Versies die nooit veranderen

    Een versie bevat berichten met variabelen en kan een standaardmodel en -instellingen meekrijgen. Een wijziging is een nieuwe versie.

  • Ingevuld vóór de controles

    De gateway vult de versie in vóór routering, model-allowlists, guardrails en de uitgavencontrole, zodat elk ervan de definitieve berichten leest.

  • Production verplaatst door een persoon

    Labels zoals staging verplaats je vanuit code. Het beschermde label production wordt door een eigenaar of beheerder in de console verplaatst, en elke verplaatsing staat in het auditlog.

  • De registratie van elke versie

    Verzoeken, foutpercentage, latency p50 en p95, geschatte providerkosten per verzoek, gemiddelde score en aandeel feedback, voor de periode die je kiest.

  • Terugdraaien door het label te verplaatsen

    Laat production naar de eerdere versie wijzen. Verzoeken gebruiken die binnen vijf seconden, zonder deploy.

  • Een veld of een header

    Noem de prompt in de request body met zijn variabelen, of in een header voor een client die geen veld kan toevoegen.

Noem de prompt; de gateway doet de rest.

Het antwoord zegt welke versie antwoordde. Prompts worden opgelost bij chat completions, en bij Messages- en Responses-verzoeken van coding-agents. Een prompt die je applicatie ophaalt en rechtstreeks naar een provider stuurt, wordt niet door de gateway gecontroleerd, en het antwoord zegt dat.

Labels, variabelen, beschermde labels en de beheer-API staan op Promptbeheer.

curl https://api.infro.io/v1/chat/completions \
  -H "Authorization: Bearer $INFRO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-5",
    "prompt": {
      "id": "support-reply",
      "label": "production",
      "variables": { "customer_name": "Ada" }
    },
    "messages": [{ "role": "user", "content": "Where is my order?" }]
  }'

Beoordelaars

Schrijf een rubric, kies een chatmodel dat je hebt gekoppeld, en INFRO laat het antwoorden beoordelen via de gateway: een steekproef van live verkeer, of eerdere verzoeken op aanvraag. Elk oordeel komt terecht als score op het verzoek dat het beoordeelde.

  • Je rubric, elk chatmodel

    Een rubric met de vraag, het antwoord en, in experimenten, de verwachte uitvoer. De judge geeft een getal, een geslaagd of gezakt, of een van je categorieën terug.

  • Live, binnen een maandlimiet

    Beoordeel een deel van de bediende antwoorden, gefilterd op project, model, promptversie of workflow. Live beoordelen pauzeert voor die maand wanneer de uitgavenlimiet van de evaluator is bereikt.

  • Of eerdere verzoeken, op aanvraag

    Beoordeel tot 1,000 gelogde verzoeken op de achtergrond, met eerst het aantal verzoeken en de geschatte providerkosten en een uitgavenplafond waarop het stopt.

Een judge-aanroep is een verzoek als elk ander.

Het draait op je provideraccount en wordt je door die provider gefactureerd. Een live judge-aanroep draait als de sleutel die het beoordeelde verzoek deed, dus de modeltoegang, guardrails en budgetten van die sleutel gelden, en hij start nadat het antwoord is verstuurd, zonder het ooit te vertragen of te veranderen. Elke judge-aanroep telt mee voor het verzoekquotum van je plan.

Placeholders, uitvoertypen en fouten staan op Beoordelaars.

# Judge 5% of one model's answers, at most $25 a month
curl -X POST "https://api.infro.io/manage/v1/evaluators" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "slug": "helpfulness",
    "model": "openai/gpt-5.4",
    "rubric": "Does the answer address what was asked, accurately and completely?\n\nQuestion: {{input}}\n\nAnswer: {{output}}",
    "output": {"type": "numeric"},
    "sampling": {"rate": 0.05, "models": ["anthropic/claude-sonnet-5"]},
    "monthly_spend_limit": 25
  }'

Datasets en experimenten

Bouw een dataset uit de verzoeken die je al hebt gelogd, speel die via de gateway opnieuw af over modellen, promptversies en instellingen, en vergelijk wat elk ervan scoorde en kostte, na een schatting en binnen een plafond.

  • Uit je verkeer met één klik

    Voeg een gelogd verzoek toe, of elk verzoek dat de huidige filters tonen (tot 1,000), met het antwoord als verwachte uitvoer als je dat wilt.

  • Of geüpload

    JSONL of CSV tot 5 MB, of items die vanuit code worden verstuurd. Een probleem noemt de regel of rij.

  • Bewaard tot je het verwijdert

    Items die je hebt gekozen te bewaren, niet gebonden aan de bewaartermijn van je verzoeklog, en verwijderd samen met de dataset, het project ervan of je organisatie.

  • Tot zes varianten

    Een model of route, een promptversie en instellingen per variant. Elk antwoord wordt beoordeeld door maximaal vijf evaluators en vergeleken op scores, foutpercentage, latentie en geschatte kosten per item.

  • Eerst een schatting, dan een plafond

    Het aantal verzoeken, de geschatte providerkosten en het aandeel van je verzoekquotum voordat er iets draait. Een uitgavenplafond van minstens de schatting is verplicht, en de run stopt daarop.

  • Door dezelfde controles

    Elke aanroep is een gatewayverzoek op je eigen providers: modeltoegang, guardrails, omgeving en uitgavenlimieten zijn van toepassing.

Er draait niets tot je het plafond instelt.

Een model zonder bekend tarief staat vermeld als zonder prijs en het experiment kan niet starten, omdat de uitgaven ervan niet binnen het plafond gehouden kunnen worden. De oordelen van de judges blijven bij het experiment, zodat een test nooit een productiescore verschuift.

Varianten, stopredenen en de vergelijking staan op Experimenten; items bouwen en uploaden op Datasets.

# Estimate first: nothing runs with dry_run
curl -X POST "https://api.infro.io/manage/v1/experiments" \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "dataset": "support-golden",
    "variants": [
      {"label": "current", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 3}},
      {"label": "candidate", "model": "anthropic/claude-sonnet-5", "prompt": {"slug": "support-reply", "version": 4}},
      {"label": "cheaper", "model": "openai/gpt-5.4-mini", "prompt": {"slug": "support-reply", "version": 4}}
    ],
    "evaluators": ["helpfulness"],
    "dry_run": true
  }'

Terugdraairegels

Een regel bewaakt één label van één prompt. Wanneer de versie waarnaar het verwijst onder je limiet scoort, zet de regel het label terug naar de vorige versie, of waarschuwt alleen: dezelfde geauditeerde verplaatsing die een persoon in de console doet.

  • Drie signalen

    Het gemiddelde van een score, het slagingspercentage van een geslaagd/gezakt-score, of het aandeel duim-omlaag van je eindgebruikers, elke vijf minuten gecontroleerd over je tijdvenster zodra genoeg antwoorden beoordeeld zijn.

  • Terug, of alleen een melding

    De regel zet het label terug naar de vorige versie of naar de versie die je noemt, of waarschuwt alleen. Hoe dan ook staat het in het auditlogboek en gaat het naar je meldingskanalen.

  • Beschermde labels, goedgekeurd door een persoon

    Een regel die een beschermd label verplaatst, wordt door een eigenaar of beheerder in de console opgeslagen. Een beheertoken schrijft er nooit een.

Elke regel leest als een zin.

Een regel gaat één keer af per versie en blijft daarna stil tot iemand het label opnieuw verplaatst. Verplaatst een persoon het label terwijl de controle loopt, dan wint die persoon. Regels lezen scores, die niet meetellen voor je verzoekquotum, en roepen geen model aan.

Metrieken, tijdvensters, beschermde labels en de beheer-API staan op Terugdraairegels voor prompts.

# Roll staging back when users dislike a version
curl https://api.infro.io/manage/v1/prompts/support-reply/rules \
  -H "Authorization: Bearer $INFRO_MANAGEMENT_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "label": "staging",
    "metric": "thumbs_down_share_above",
    "threshold": 0.3,
    "min_samples": 100,
    "window_minutes": 60,
    "action": "rollback",
    "target_version": "previous"
  }'

Naast je tools

Je eigen collector

Elk verzoek kan ook als OpenTelemetry-span naar een collector naar keuze worden gepusht, vanuit het verzoekpad, met het endpoint en de headers ingesteld in de console. Runs en scores blijven in INFRO; je traces blijven waar je team ze al leest.

OpenTelemetry-export

Gebruik je ook Langfuse?

Ze werken samen. Langfuse is een opensource-platform voor observability en evaluatie, met annotatiewachtrijen voor menselijke beoordeling en experimenten die je eigen code draaien, retrieval en tools inbegrepen, die INFRO niet heeft. INFRO zit in het verzoekpad: het routeert, doet failover en weigert uitgaven voordat je provider wordt aangeroepen, en de judges en experimenten ervan draaien op datzelfde pad. Een geteste werkwijze om de spans van INFRO naar Langfuse te sturen is nog niet gepubliceerd.

INFRO en Langfuse vergeleken

FAQ

Kan INFRO prompts beheren?

Ja, op elk plan. Sla een prompt op als genummerde versies met labels zoals production en staging, en noem hem in een chat completion met een veld prompt of de header X-INFRO-Prompt. De gateway vult de versie in vóór routering, model-allowlists, guardrails en de uitgavencontrole, zodat elke controle de definitieve berichten leest, en de versie wordt bij het verzoek vastgelegd. Een versie verandert nooit; terugdraaien is het label naar een eerdere versie verplaatsen, die verzoeken binnen vijf seconden en zonder deploy gebruiken. Het beschermde label production wordt door een eigenaar of beheerder in de console verplaatst.

Hoe verzamel ik gebruikersfeedback op AI-antwoorden?

Elk geslaagd antwoord op een gatewaysleutel bevat een header X-INFRO-Feedback-Token: een door INFRO ondertekend token dat één verzoek noemt en zeven dagen geldig is. Geef het aan de pagina die het antwoord toont, en als de persoon op duim omhoog of omlaag klikt, post je het naar POST /v1/feedback. Dat endpoint heeft geen API-sleutel nodig, dus je sleutel bereikt nooit de browser, en het token kan zijn eigen verzoek beoordelen en niets anders. De feedback wordt getoond op het verzoek, de run en de promptversie die antwoordde, en scores tellen niet mee voor je verzoekquotum.

Kan INFRO de kwaliteit van AI-antwoorden beoordelen?

Ja, met evaluators, op elk plan. Een evaluator is een rubric die een chatmodel dat je kiest op antwoorden toepast, op een van je eigen providerverbindingen via de gateway. Hij beoordeelt een steekproef van live verkeer, binnen een maandelijkse uitgavenlimiet die je instelt, of tot 1,000 gelogde verzoeken op aanvraag, met eerst een schatting en een uitgavenplafond. Elk oordeel is een score op het verzoek dat het beoordeelde, naast je eigen scores en de feedback van je eindgebruikers. Het beoordelen begint nadat het antwoord is verstuurd, dus het vertraagt of verandert het nooit. Elke judge-aanroep is een verzoek op je provider, door die provider aan jou gefactureerd en meegeteld voor het verzoekquotum van je plan.

Wat is een run in INFRO?

De verzoeken van één workflow die dezelfde trace-ID meekregen: een agentbeurt, een retrieval-antwoord of een documentpipeline. Stuur de trace-ID in de header X-INFRO-Trace-Id of in metadata.trace_id, en de workflow in metadata, en GET /v1/runs en de console tonen één rij per run met zijn verzoeken, fouten, duur, modellen, geschatte providerkosten, scores en promptversies. Een run omvat de modelaanroepen die via INFRO liepen; je vectordatabase, retrieval en eigen compute zitten niet in de cijfers.

Kan mijn applicatie een prompt ophalen en de provider zelf aanroepen?

Ja: GET /v1/prompts geeft de berichten en instellingen van een versie terug met elke gatewaysleutel die de prompt mag gebruiken. Een prompt die zo wordt gebruikt, wordt niet afgedwongen, omdat INFRO de aanroep nooit ziet: er geldt geen guardrail, allowlist of uitgavenlimiet, geen verzoek legt de versie vast, en het antwoord zegt dat. De prompt in een chat completion via INFRO noemen is wat de controles toepast.

Hoe test ik een wijziging van een prompt of model voordat die live gaat?

Voer een experiment uit. Bouw met één klik een dataset uit gelogde verzoeken, of upload er een als JSONL of CSV, en speel die dan via de gateway opnieuw af over maximaal zes varianten: een model of route, een promptversie en instellingen. Je evaluators beoordelen elk antwoord. De schatting komt eerst: het aantal verzoeken en de geschatte providerkosten per variant. Om te starten stel je een uitgavenplafond in van minstens die schatting, en de run stopt als de uitgaven ervan het bereiken. De vergelijking toont per variant de scores, het foutpercentage, latency p50 en p95 en de geschatte kosten per item, en Promote in de console verplaatst een promptlabel naar de versie die een variant draaide.

Kan een prompt zichzelf terugdraaien als de kwaliteit daalt?

Ja, met een terugdraairegel op een label zoals production. Elke vijf minuten leest de regel de scores van de antwoorden die zijn bediend vanuit de versie waarnaar dat label verwijst, over een tijdvenster dat je kiest: het gemiddelde van een score, het slagingspercentage van een geslaagd/gezakt-score, of het aandeel duim-omlaag van je eindgebruikers. Wanneer het cijfer je limiet passeert met minstens het minimumaantal beoordeelde antwoorden, zet de regel het label terug naar de vorige versie, of waarschuwt alleen. Elke verplaatsing staat in het auditlog en wordt naar je meldingskanalen gestuurd. Een regel die een beschermd label verplaatst, wordt door een eigenaar of beheerder in de console opgeslagen.

Alle andere vragen over INFRO staan in de FAQ.

Aan de slag

Kwaliteit en controle in één registratie.

Het verzoek dat werd gerouteerd, geprijsd en gecontroleerd, is het verzoek dat werd gescoord, op elk plan.