Pular para o conteúdo

Guias de migraçãoVindo do um proxy de IA interno

De um proxy interno a um plano de controle que você não precisa operar

Muitas equipes escreveram um pequeno serviço na frente da OpenAI e da Anthropic: ele guarda as chaves, repete, registra, conta tokens contra uma tabela de custos e aplica uma cota por equipe. Esta página mapeia cada uma dessas funções para o INFRO, diz quais continuam sendo seu código e mostra como migrar um serviço por vez com o proxy ainda rodando.

Seu próprio serviço na frente dos provedores: chaves, retentativas, logs, cotas

As contas do INFRO são self-service. O catálogo, a documentação e o contrato da API são públicos, o gateway está implantado, e tudo o que vai além da v1 está marcado para depois. Planos e teste

Situação atual

O que esses proxies costumam fazer

Guardar chaves de provedor, emitir chaves internas por equipe, repetir e fazer failover, registrar requisições, precificar tokens a partir de uma tabela mantida à mão e recusar uma equipe acima da cota.

Quanto custa mantê-los

Alguém é responsável pela tabela de preços, pelos modelos novos, pelos novos parâmetros de cada provedor, pelo banco de dados por trás dos logs e pelo plantão do próprio proxy.

Duas formas de migrar

Substitua-o: os serviços chamam o INFRO, que chama seus provedores. Ou mantenha-o atrás do INFRO por um tempo: conecte o proxy como uma conexão openai-compatible e migre os upstreams dele um por vez.

Um proxy que você escreveu faz exatamente o que você precisa, e isso tem valor. Mantenha-o se um destes for o motivo de ele existir.

  • Ele altera a requisição: templates de prompt, recuperação injetada no contexto, remoção de PII com seus próprios modelos ou pós-processamento de respostas. Os guardrails do INFRO são regras de padrões e verificações com modelos de decisão; ele não executa seu código no caminho da requisição.
  • Ele precisa rodar dentro da sua rede ou de uma região específica. Os planos do INFRO são hospedados na rede da Cloudflare; uma implantação auto-hospedada ou híbrida é um contrato enterprise.
  • Ele serve modelos que nenhuma API de provedor expõe, como pesos que você hospeda em GPUs internas, e nada mais. O INFRO pode rotear para esse servidor como uma conexão openai-compatible, mas o servidor continua sendo seu.
  • Ele é pequeno, tem dono, e ninguém está pedindo orçamentos, atribuição ou failover. Nesse caso, um gateway é uma migração sem nada no fim.

As alterações, uma linha cada. Tudo o que não está listado aqui continua como está.

 Seu proxyINFRO
URL baseO host interno do seu proxy.https://api.infro.io/v1 (formato da OpenAI), /v1/messages (formato da Anthropic), /v1/responses (OpenAI Responses).
ChaveUma chave interna que seu proxy emitiu por equipe ou serviço.Uma chave do gateway do INFRO por serviço, com sua própria lista de permissões de modelos, lista de provedores, faixas de IP, ambiente e limite de gastos.
Id do modeloOs aliases que seu proxy definiu.vendor/model, ou o nome de uma rota: uma rota é um alias que resolve para uma lista ordenada das suas conexões, editada no console.
HeadersSeus próprios headers de equipe, usuário ou funcionalidade.X-INFRO-Feature, X-INFRO-User-Id, X-INFRO-Trace-Id, ou metadata.user_id, metadata.session_id, metadata.tags no corpo.

Antes · seu proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm-proxy.internal.example.com/v1",
  apiKey: process.env.LLM_PROXY_KEY,
  defaultHeaders: { "X-Team": "search" },
});

await client.chat.completions.create({
  model: "default-chat",
  messages: [{ role: "user", content: "Hello" }],
});

Depois · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY, // one key per service
  defaultHeaders: { "X-INFRO-Feature": "search" },
});

await client.chat.completions.create({
  model: "default-chat", // a route with the same name
  messages: [{ role: "user", content: "Hello" }],
});

Mantenha seus aliases

Crie uma rota para cada alias que seu proxy definiu, com o mesmo nome, e os serviços continuam enviando o mesmo model. Uma chave pode ser fixada em rotas nomeadas, para que não consiga chamar um modelo diretamente.

Migre um serviço por vez

Conecte o próprio proxy como uma conexão openai-compatible e adicione-o como destino de uma rota. Os serviços podem passar para o INFRO primeiro; os upstreams saem do proxy para conexões diretas depois.

Equipes viram projetos

As cotas por equipe viram orçamentos de projeto e limites de gastos por chave. Os membros podem ficar restritos aos projetos em que trabalham.

O que a sua configuração faz hoje comparado ao INFRO, conferido com o que o gateway implementa. Uma linha diz que o INFRO não tem nada.

Seu proxyO que faz láNo INFRO
Cofre de chavesmesmo formatoChaves de provedor na configuração do proxy ou em um cofre de segredos.Conexões de provedor, seladas em repouso, várias chaves por provedor com as chaves reserva por último.
Chaves internasmesmo formatoChaves que o proxy emite por equipe ou serviço.Chaves do gateway com listas de permissões de modelos, listas de provedores, faixas de IP, um ambiente, um limite de gastos, rotação e um botão de desligar.
Retentativas e fallbacksmesmo formatoCódigo no proxy.Rotas com destinos por prioridade ou ponderados, regras condicionais sobre a requisição e regras de falha por tipo (429, 5xx, timeout, conexão, credencial, moderação).
Cotasmesmo formatoContadores de tokens ou dólares por equipe.Orçamentos por organização, projeto, membro, chave e cliente final que recusam no teto com 402, mantidos sob concorrência.
Tabela de preçosdiferenteUma tabela de preços por token mantida à mão.O preço de tabela do fornecedor, do catálogo do INFRO, seus preços negociados onde você os informar e unpriced quando nenhum dos dois for conhecido, nunca zero.
Logs de requisiçõesdiferenteLinhas no seu próprio banco de dados.O log de requisições e os traces no console, GET /v1/requests, exportações e spans para seu coletor OpenTelemetry. A captura de prompts fica desligada até você ativá-la.
Transformações de prompt e respostanadaTemplates, recuperação e limpeza com sua própria lógica.Não disponível. Os guardrails bloqueiam, ocultam ou sinalizam por padrão e por verificações com modelos de decisão; o INFRO não executa seu código.
Modelos auto-hospedadosdiferentevLLM, TGI ou Ollama atrás do proxy.Uma conexão openai-compatible para esse servidor, roteada como qualquer outro provedor. O servidor continua sendo seu para operar.
Operar você mesmodiferenteEle roda onde você o implanta.Hospedado. Uma implantação auto-hospedada ou híbrida é um contrato enterprise, não um plano.Enterprise — Disponível em um contrato enterprise, não em self-service.

O que o INFRO não faz

  • Executar seu próprio código no caminho da requisição: templates de prompt, recuperação, transformações personalizadas.
  • Batch, Files, fine-tuning e Realtime, ou embeddings em provedores que não sejam OpenAI, Azure OpenAI, Mistral ou um endpoint compatível com OpenAI.
  • Fixação de região; residência de dados está no roadmap, não disponível.
  • Uma implantação auto-hospedada sem contrato enterprise.

O que não é levado

  • Os logs do seu proxy. Não há importador; mantenha-os onde estão.
  • A tabela de preços dele. Em vez disso, informe os preços negociados no console; os preços de tabela vêm do catálogo.
  • Transformações personalizadas. Elas ficam no seu código, antes da chamada ao INFRO.

Perguntas

O INFRO pode ficar na frente do nosso proxy atual?
Sim. Conecte o proxy como uma conexão openai-compatible com a URL base e a chave dele, e roteie para ele como qualquer provedor enquanto migra os upstreams dele.
Nossos contratos com provedores mudam?
Não. Você conecta as contas de provedor que tem, e seus provedores continuam cobrando você diretamente, pelos seus próprios preços. O INFRO é uma assinatura com 0% de margem sobre o gasto com modelos.
O que continua sendo nosso código?
Tudo o que altera o prompt ou a resposta: templates, recuperação, limpeza personalizada, pós-processamento.

Migre conosco ou por conta própria

O programa de migração mapeia, numa chamada, a sua configuração do um proxy de IA interno para conexões, rotas e orçamentos do INFRO e migra o primeiro serviço com você. Seus provedores continuam cobrando você diretamente; o INFRO é uma assinatura e acrescenta 0% ao gasto com modelos.

Teste de 14 dias Agende uma sessão de migraçãoLer o guia de início rápido

Fontes

O comportamento do SDK descrito nesta página vem destas fontes, lidas em 19 de outubro de 2026.