INFRO può stare davanti al nostro proxy esistente?

Sì. Collega il proxy come connessione openai-compatible con il suo URL di base e la sua chiave, e instrada verso di esso come qualsiasi provider mentre sposti i suoi upstream.

I nostri contratti con i provider cambiano?

No. Colleghi gli account dei provider che hai, e i tuoi provider continuano a fatturarti direttamente alle tue tariffe. INFRO è un abbonamento con 0% di ricarico sulla spesa per i modelli.

Cosa resta codice nostro?

Tutto ciò che modifica il prompt o la risposta: templating, retrieval, pulizia personalizzata, post-elaborazione.

Guide alla migrazioneDa un proxy IA interno

Da un proxy interno a un piano di controllo che non gestisci tu

Molti team hanno scritto un piccolo servizio davanti a OpenAI e Anthropic: custodisce le chiavi, ritenta, registra, conta i token rispetto a una tabella dei costi e applica una quota per team. Questa pagina associa ciascuno di questi compiti a INFRO, dice quali restano codice tuo e mostra come spostare un servizio alla volta con il proxy ancora attivo.

Un tuo servizio davanti ai provider: chiavi, retry, logging, quote

Gli account INFRO sono self-service. Il catalogo, la documentazione e il contratto dell'API sono pubblici, il gateway è in produzione e tutto ciò che va oltre la v1 è indicato come "Più avanti". Piani e prova

A che punto siamo

Cosa fanno di solito questi proxy

Custodire le chiavi dei provider, emettere chiavi interne per team, ritentare e passare in failover, registrare le richieste, prezzare i token da una tabella mantenuta a mano e bloccare un team oltre la sua quota.

Quanto costa mantenerli

Qualcuno è responsabile della tabella dei prezzi, dei nuovi modelli, dei nuovi parametri di ogni provider, del database dietro i log e della reperibilità per il proxy stesso.

Due modi per spostarsi

Sostituiscilo: i servizi chiamano INFRO, che chiama i tuoi provider. Oppure tienilo dietro INFRO per un po': collega il proxy come connessione openai-compatible e sposta i suoi upstream uno alla volta.

Un proxy scritto da te fa esattamente ciò che ti serve, e questo vale qualcosa. Tienilo se esiste per uno di questi motivi.

Modifica la richiesta: templating dei prompt, retrieval inserito nel contesto, rimozione delle PII con i tuoi modelli o post-elaborazione della risposta. I guardrail di INFRO sono regole a pattern e controlli con modelli decisionali; INFRO non esegue il tuo codice nel percorso della richiesta.
Deve girare nella tua rete o in una regione specifica. I piani di INFRO sono ospitati sulla rete di Cloudflare; un deployment self-hosted o ibrido è un accordo enterprise.
Serve modelli che nessuna API di provider espone, come pesi che ospiti su GPU interne, e nient'altro. INFRO può instradare verso quel server come connessione openai-compatible, ma il server resta tuo.
È piccolo, ha un responsabile, e nessuno chiede budget, attribuzione o failover. Allora un gateway è una migrazione senza nulla alla fine.

Le modifiche, una riga ciascuna. Tutto ciò che non è elencato qui resta com'è.

	Il tuo proxy	INFRO
URL di base	L'host interno del tuo proxy.	`https://api.infro.io/v1` (forma OpenAI), `/v1/messages` (forma Anthropic), `/v1/responses` (OpenAI Responses).
Chiave	Una chiave interna emessa dal tuo proxy per team o servizio.	Una chiave del gateway INFRO per servizio, con la propria lista di autorizzazione dei modelli, l'elenco dei provider, gli intervalli IP, l'ambiente e il limite di spesa.
Id del modello	Gli alias definiti dal tuo proxy.	`vendor/model`, o il nome di una route: una route è un alias che si risolve in un elenco ordinato delle tue connessioni, modificato nella console.
Header	I tuoi header per team, utente o funzionalità.	`X-INFRO-Feature`, `X-INFRO-User-Id`, `X-INFRO-Trace-Id`, oppure `metadata.user_id`, `metadata.session_id`, `metadata.tags` nel corpo.

Prima · il tuo proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm-proxy.internal.example.com/v1",
  apiKey: process.env.LLM_PROXY_KEY,
  defaultHeaders: { "X-Team": "search" },
});

await client.chat.completions.create({
  model: "default-chat",
  messages: [{ role: "user", content: "Hello" }],
});

Dopo · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY, // one key per service
  defaultHeaders: { "X-INFRO-Feature": "search" },
});

await client.chat.completions.create({
  model: "default-chat", // a route with the same name
  messages: [{ role: "user", content: "Hello" }],
});

Mantieni i tuoi alias

Crea una route per ogni alias definito dal tuo proxy, con lo stesso nome, e i servizi continuano a inviare lo stesso model. Una chiave può essere vincolata a route con nome, così non può chiamare direttamente un modello.

Sposta un servizio alla volta

Collega il proxy stesso come connessione openai-compatible e aggiungilo come destinazione di una route. I servizi possono passare prima a INFRO; gli upstream si spostano poi dal proxy a connessioni dirette.

I team diventano progetti

Le quote per team diventano budget di progetto e limiti di spesa per chiave. I membri possono essere limitati ai progetti su cui lavorano.

Cosa fa oggi la tua configurazione rispetto a INFRO, verificato con ciò che il gateway implementa. Una riga dice che INFRO non ha nulla.

Il tuo proxy	Cosa fa lì	In INFRO
Archivio delle chiavistessa forma	Chiavi dei provider nella configurazione del proxy o in un secret store.	Connessioni ai provider, sigillate a riposo, più chiavi per provider con le chiavi di riserva per ultime.
Chiavi internestessa forma	Chiavi che il proxy emette per team o servizio.	Chiavi del gateway con liste di autorizzazione dei modelli, elenchi di provider, intervalli IP, un ambiente, un limite di spesa, rotazione e un interruttore di disattivazione.
Retry e fallbackstessa forma	Codice nel proxy.	Route con destinazioni a priorità o pesate, regole condizionali sulla richiesta e regole di errore per tipo (429, 5xx, timeout, connessione, credenziale, moderazione).
Quotestessa forma	Contatori di token o dollari per team.	Budget per organizzazione, progetto, membro, chiave e cliente finale che rifiutano al raggiungimento del tetto con `402`, rispettati anche in concorrenza.
Tabella dei prezzidiverso	Una tabella dei prezzi per token mantenuta a mano.	Il prezzo di listino del vendor dal catalogo di INFRO, i tuoi prezzi negoziati dove li inserisci, e `unpriced` dove nessuno dei due è noto, mai zero.
Log delle richiestediverso	Righe nel tuo database.	Il log delle richieste e le trace nella console, `GET /v1/requests`, le esportazioni e gli span verso il tuo collector OpenTelemetry. La cattura dei prompt è disattivata finché non la attivi.
Trasformazioni di prompt e risposteniente	Templating, retrieval, pulizia con la tua logica.	Non disponibile. I guardrail bloccano, oscurano o segnalano tramite pattern e controlli con modelli decisionali; INFRO non esegue il tuo codice.
Modelli self-hosteddiverso	vLLM, TGI o Ollama dietro il proxy.	Una connessione `openai-compatible` a quel server, instradata come qualsiasi altro provider. Il server resta tuo da gestire.
Gestirlo in propriodiverso	Gira dove lo distribuisci.	Hosted. Un deployment self-hosted o ibrido è un accordo enterprise, non un piano.Enterprise — Disponibile con un contratto enterprise anziché in self-service.

Cosa non fa INFRO

Eseguire il tuo codice nel percorso della richiesta: templating dei prompt, retrieval, trasformazioni personalizzate.
Batch, Files, fine-tuning e Realtime, o embedding su provider diversi da OpenAI, Azure OpenAI, Mistral o un endpoint compatibile con OpenAI.
Vincolo a una regione; la residenza dei dati è nella roadmap, non disponibile.
Un deployment self-hosted senza un accordo enterprise.

Cosa non si porta con sé

I log del tuo proxy. Non c'è uno strumento di importazione; tienili dove sono.
La sua tabella dei prezzi. Inserisci invece i prezzi negoziati nella console; i prezzi di listino arrivano dal catalogo.
Trasformazioni personalizzate. Restano nel tuo codice, prima della chiamata a INFRO.

Domande

INFRO può stare davanti al nostro proxy esistente?: Sì. Collega il proxy come connessione openai-compatible con il suo URL di base e la sua chiave, e instrada verso di esso come qualsiasi provider mentre sposti i suoi upstream.
I nostri contratti con i provider cambiano?: No. Colleghi gli account dei provider che hai, e i tuoi provider continuano a fatturarti direttamente alle tue tariffe. INFRO è un abbonamento con 0% di ricarico sulla spesa per i modelli.
Cosa resta codice nostro?: Tutto ciò che modifica il prompt o la risposta: templating, retrieval, pulizia personalizzata, post-elaborazione.

Migra con noi, o da solo

Il programma di migrazione mappa in una call la tua configurazione un proxy IA interno su connessioni, route e budget di INFRO e migra con te il primo servizio. I tuoi provider continuano a fatturarti direttamente; INFRO è un abbonamento e aggiunge 0% alla spesa per i modelli.

Prova di 14 giorni Prenota una sessione di migrazione Leggi il quickstart

Fonti

Il comportamento degli SDK descritto in questa pagina proviene da queste fonti, lette il 19 ottobre 2026.

OpenAI — openai-node README (baseURL and defaultHeaders)letto il 19 ott 2026
OpenAI — openai-python README (base_url and default_headers)letto il 19 ott 2026