Naar de inhoud

MigratiegidsenVanaf een eigen AI-proxy

Van een eigen proxy naar een control plane die je niet zelf draait

Veel teams schreven een kleine dienst voor OpenAI en Anthropic: die bewaart de sleutels, doet retries, logt, telt tokens tegen een kostentabel en dwingt een quotum per team af. Deze pagina koppelt elk van die taken aan INFRO, zegt welke je eigen code blijven, en laat zien hoe je per dienst overstapt terwijl de proxy blijft draaien.

Je eigen dienst voor de providers: sleutels, retries, logging, quota

INFRO-accounts zijn selfservice. De catalogus, de documentatie en het API-contract zijn openbaar, de gateway is uitgerold, en alles na v1 is gemarkeerd als Later. Plannen en proefperiode

Hoe het ervoor staat

Wat deze proxy's meestal doen

Providersleutels bewaren, interne sleutels per team uitgeven, retries en failover, verzoeken loggen, tokens prijzen uit een met de hand bijgehouden tabel, en een team weigeren dat boven zijn quotum zit.

Wat ze kosten om te onderhouden

Iemand is eigenaar van de prijstabel, de nieuwe modellen, de nieuwe parameters van elke provider, de database achter de logs en de piketdienst voor de proxy zelf.

Twee manieren om over te stappen

Vervang hem: diensten roepen INFRO aan, dat je providers aanroept. Of houd hem een tijdje achter INFRO: koppel de proxy als openai-compatible-verbinding en verhuis zijn upstreams één voor één.

Een proxy die je zelf hebt geschreven, doet precies wat je nodig hebt, en dat is iets waard. Houd hem als een van deze punten de reden is dat hij bestaat.

  • Hij verandert het verzoek: prompttemplating, retrieval die in de context wordt geïnjecteerd, PII-opschoning met je eigen modellen of nabewerking van de respons. De guardrails van INFRO zijn patroonregels en controles met beslismodellen; het voert geen code van jou uit in het verzoekpad.
  • Hij moet binnen je netwerk of een bepaalde regio draaien. De plannen van INFRO worden gehost op het netwerk van Cloudflare; een zelf gehoste of hybride deployment is een enterprise-overeenkomst.
  • Hij biedt modellen aan die geen enkele provider-API beschikbaar stelt, zoals gewichten die je op interne GPU's host, en verder niets. INFRO kan naar die server routeren als openai-compatible-verbinding, maar de server blijft van jou.
  • Hij is klein, heeft een eigenaar, en niemand vraagt om budgetten, toewijzing of failover. Dan is een gateway een migratie zonder iets aan het einde.

De wijzigingen, één rij per wijziging. Alles wat hier niet staat, blijft zoals het is.

 Je proxyINFRO
Basis-URLDe interne host van je proxy.https://api.infro.io/v1 (OpenAI-vorm), /v1/messages (Anthropic-vorm), /v1/responses (OpenAI Responses).
SleutelEen interne sleutel die je proxy per team of dienst uitgaf.Een INFRO-gatewaysleutel per dienst, met een eigen allowlist voor modellen, providerlijst, IP-bereiken, omgeving en uitgavenlimiet.
Model-IDDe aliassen die je proxy definieerde.vendor/model, of een routenaam: een route is een alias die verwijst naar een geordende lijst van je verbindingen, bewerkt in de console.
HeadersJe eigen headers voor team, gebruiker of feature.X-INFRO-Feature, X-INFRO-User-Id, X-INFRO-Trace-Id, of metadata.user_id, metadata.session_id, metadata.tags in de body.

Voor · je proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm-proxy.internal.example.com/v1",
  apiKey: process.env.LLM_PROXY_KEY,
  defaultHeaders: { "X-Team": "search" },
});

await client.chat.completions.create({
  model: "default-chat",
  messages: [{ role: "user", content: "Hello" }],
});

Na · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY, // one key per service
  defaultHeaders: { "X-INFRO-Feature": "search" },
});

await client.chat.completions.create({
  model: "default-chat", // a route with the same name
  messages: [{ role: "user", content: "Hello" }],
});

Houd je aliassen

Maak voor elke alias die je proxy definieerde een route met dezelfde naam, en diensten blijven hetzelfde model sturen. Een sleutel kan aan benoemde routes worden vastgepind, zodat hij geen model direct kan aanroepen.

Stap per dienst over

Koppel de proxy zelf als openai-compatible-verbinding en voeg hem toe als routedoel. Diensten kunnen eerst naar INFRO overstappen; de upstreams verhuizen daarna van de proxy naar directe verbindingen.

Teams worden projecten

Quota per team worden projectbudgetten en uitgavenlimieten per sleutel. Leden kunnen worden beperkt tot de projecten waaraan ze werken.

Wat je setup vandaag doet tegenover INFRO, getoetst aan wat de gateway implementeert. Eén rij zegt dat INFRO niets heeft.

Je proxyWat het daar doetIn INFRO
Sleutelkluiszelfde vormProvidersleutels in de config van de proxy of een secret store.Providerverbindingen, versleuteld opgeslagen, meerdere sleutels per provider met reservesleutels als laatste.
Interne sleutelszelfde vormSleutels die de proxy per team of dienst uitgeeft.Gatewaysleutels met allowlists voor modellen, providerlijsten, IP-bereiken, een omgeving, een uitgavenlimiet, rotatie en een uitschakelaar.
Retries en fallbackszelfde vormCode in de proxy.Routes met doelen op prioriteit of gewicht, if-regels op het verzoek, en faalregels per soort (429, 5xx, time-out, verbinding, credential, moderatie).
Quotazelfde vormTellers in tokens of dollars per team.Budgetten per organisatie, project, lid, sleutel en eindklant die bij het plafond weigeren met 402, ook bij gelijktijdige verzoeken.
PrijstabelandersEen met de hand bijgehouden tabel met prijzen per token.De lijstprijs van de leverancier uit de catalogus van INFRO, je onderhandelde prijzen waar je die invoert, en unpriced waar geen van beide bekend is, nooit nul.
VerzoeklogsandersRijen in je eigen database.Het verzoeklog en de traces in de console, GET /v1/requests, exports, en spans naar je OpenTelemetry-collector. Prompts vastleggen staat uit totdat je het aanzet.
Transformaties van prompt en responsnietsTemplating, retrieval, opschoning met je eigen logica.Niet beschikbaar. Guardrails blokkeren, maskeren of markeren op patroon en met controles door beslismodellen; INFRO voert geen code van jou uit.
Zelf gehoste modellenandersvLLM, TGI of Ollama achter de proxy.Een openai-compatible-verbinding met die server, gerouteerd zoals elke andere provider. De server blijf je zelf beheren.
Het zelf draaienandersHij draait waar jij hem deployt.Gehost. Een zelf gehoste of hybride deployment is een enterprise-overeenkomst, geen plan.Enterprise — Beschikbaar via een enterprise-overeenkomst, niet via selfservice.

Wat INFRO niet doet

  • Je eigen code uitvoeren in het verzoekpad: prompttemplating, retrieval, eigen transformaties.
  • Batch, Files, fine-tuning en Realtime, of embeddings bij andere providers dan OpenAI, Azure OpenAI, Mistral of een OpenAI-compatibel endpoint.
  • Regio vastpinnen; dataresidentie staat op de roadmap en is niet beschikbaar.
  • Een zelf gehoste deployment zonder enterprise-overeenkomst.

Wat niet meekomt

  • De logs van je proxy. Er is geen importfunctie; houd ze waar ze zijn.
  • Zijn prijstabel. Voer in plaats daarvan onderhandelde prijzen in de console in; lijstprijzen komen uit de catalogus.
  • Eigen transformaties. Die blijven in je code, vóór de call naar INFRO.

Vragen

Kan INFRO voor onze bestaande proxy staan?
Ja. Koppel de proxy als openai-compatible-verbinding met zijn basis-URL en sleutel, en routeer ernaartoe zoals naar elke provider terwijl je zijn upstreams verhuist.
Veranderen onze providercontracten?
Nee. Je koppelt de provideraccounts die je hebt, en je providers blijven je rechtstreeks factureren tegen je eigen tarieven. INFRO is een abonnement met 0% opslag op modeluitgaven.
Wat blijft onze eigen code?
Alles wat de prompt of de respons verandert: templating, retrieval, eigen opschoning, nabewerking.

Overstappen met ons, of zelf

Het migratieprogramma brengt je een eigen AI-proxy-setup in een gesprek in kaart naar INFRO-verbindingen, -routes en -budgetten en verhuist de eerste service samen met je. Je providers blijven je rechtstreeks factureren; INFRO is een abonnement en voegt 0% toe aan modeluitgaven.

Probeer 14 dagen Plan een migratiesessieLees de quickstart

Bronnen

Het SDK-gedrag op deze pagina komt uit deze bronnen, gelezen op 19 oktober 2026.