Pular para o conteúdo

Guias de migraçãoVindo do LLM Gateway

Do LLM Gateway, mantendo suas próprias chaves de provedor

O LLM Gateway (llmgateway.io) roda com acesso próprio a provedores pago com créditos, nas suas próprias chaves de provedor, ou nos dois, com fallback das suas chaves para os créditos. Equipes no modo BYOK dele já estão mais próximas do INFRO. Esta página mapeia esse modo e diz com clareza o que o INFRO não faz.

llmgateway.io; núcleo AGPLv3 com uma edição `ee/` licenciada; hospedado ou auto-hospedado

As contas do INFRO são self-service. O catálogo, a documentação e o contrato da API são públicos, o gateway está implantado, e tudo o que vai além da v1 está marcado para depois. Planos e teste

Situação atual

Licença

theopenco/llmgateway é AGPLv3 no núcleo, com recursos comerciais sob uma licença Enterprise separada em ee/. É hospedado em api.llmgateway.io e pode ser auto-hospedado.

A conta de quem atende a requisição

Acesso próprio a provedores com créditos pré-pagos, suas chaves de provedor (sem margem do gateway, segundo a documentação) ou um modo híbrido que recorre das suas chaves aos créditos.

Além de um gateway

A documentação dele também cobre planos de coding, um app de chat, um portal de provedores, um SDK de pagamentos, decisões e um endpoint System One. Isso não faz parte deste mapeamento.

É open source e abrangente. Fique se usar para uma destas finalidades.

  • Você auto-hospeda sob a AGPL. O INFRO é hospedado; auto-hospedado ou híbrido é um contrato enterprise.
  • Você usa ids de modelo sem prefixo para que ele escolha um provedor por preço, disponibilidade, vazão ou latência, ou a seleção de modelo auto e smart. O INFRO não escolhe por preço ou velocidade.
  • Seu app com AI SDK usa o endpoint de protocolo do AI Gateway e você quer trocar apenas a URL base. O INFRO não implementa esse protocolo.
  • Você usa Realtime, OCR ou busca por ele, embeddings de provedores além de OpenAI, Azure OpenAI ou Mistral, ou quer acesso a modelos sem contas de provedor próprias.

As alterações, uma linha cada. Tudo o que não está listado aqui continua como está.

 LLM GatewayINFRO
URL basehttps://api.llmgateway.io/v1, ou /v1/ai para o protocolo do gateway do AI SDK.https://api.infro.io/v1
ChaveUma chave do LLM Gateway.Uma chave do gateway do INFRO; suas chaves de provedor viram conexões.
Id do modelogpt-5.6-terra (o gateway escolhe), openai/gpt-5.6-terra (fixado), auto, dynamic/<name>.openai/gpt-5.6-terra, ou o nome de uma rota no lugar de dynamic/<name>.
HeadersX-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache.X-INFRO-User-Id, X-INFRO-Feature; routing.providers para manter uma requisição em um único provedor.

Antes · LLM Gateway

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmgateway.io/v1",
  apiKey: process.env.LLM_GATEWAY_API_KEY,
  defaultHeaders: {
    "X-LLMGateway-User-ID": "user_123",
    "X-LLMGateway-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Depois · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
  defaultHeaders: {
    "X-INFRO-User-Id": "user_123",
    "X-INFRO-Feature": "chat",
  },
});

await client.chat.completions.create({
  model: "openai/gpt-5.6-terra",
  messages: [{ role: "user", content: "Hello" }],
});

Aplicações com AI SDK

Substitua o provedor do gateway por createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey }) de @ai-sdk/openai e chame .chat(modelId). Os ids de modelo continuam vendor/model.

O failover vem ativado por padrão

Uma requisição que nomeia um modelo faz failover entre suas conexões que o servem. routing.providers.allow a mantém nos provedores escolhidos, como faziam X-No-Fallback ou um id fixado.

Rotas dinâmicas viram rotas

Recrie cada fluxo dynamic/<name> como uma rota com os mesmos destinos; um classificador de prompts cobre o roteamento por tipo de prompt.

Os objetos do LLM Gateway comparados aos do INFRO, a partir da documentação pública do LLM Gateway lida em 19 de outubro de 2026 e conferidos com o que o gateway implementa. Duas linhas dizem que o INFRO não tem nada.

LLM GatewayO que faz láNo INFRO
Chaves de provedor (BYOK)diferenteSuas chaves com modelos permitidos, limites de gastos e limites de taxa; fallback híbrido para créditos.Conexões com modelos por chave; sem fallback para a conta de mais ninguém.
Roteamento por preço, vazão e latêncianadaIds sem prefixo e estratégias de routing escolhem um provedor.Nada. As rotas definem a ordem ou os pesos.
`auto`, `smart`, rotas dinâmicasdiferenteModelo escolhido por requisição ou por um fluxo nomeado.Rotas, com um classificador de prompts que envia cada classe de prompt para os seus próprios destinos.
Chaves de API e regras de IAMmesmo formatoLimites de gastos e permitir ou negar modelos ou provedores por chave.Limites de gastos, listas de permissões e listas de provedores por chave; orçamentos em mais quatro escopos.
Cache de respostas no gatewaymesmo formatoCache de respostas no nível do projeto com TTL; x-no-cache para ignorá-lo.Cache por correspondência exata, opcional, com TTL e namespace.
Headers de metadadosdiferenteQualquer header X-LLMGateway-*.metadata no corpo, ou X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id.
Protocolo de gateway do AI SDKnadaSubstituto direto para aplicações com @ai-sdk/gateway, pela URL base.Não implementado. Use o provedor OpenAI do AI SDK.
Guardrails, logs de auditoria, SSOmesmo formatoRegras de conteúdo e eventos de segurança; logs de auditoria e SSO no Enterprise.Guardrails, um log de auditoria e SSO com SCIM a partir do plano Business.
Embeddings, Realtime, OCR, buscadiferenteAtendido.Embeddings na sua conexão OpenAI, Azure OpenAI, Mistral ou compatível com OpenAI. Realtime, OCR e busca não são servidos.
Auto-hospedagemdiferenteNúcleo AGPLv3, Docker e Kubernetes.Hospedado. Auto-hospedado ou híbrido é um contrato enterprise.Enterprise — Disponível em um contrato enterprise, não em self-service.

Nossa leitura da documentação publicada do LLM Gateway, não um teste nem um benchmark. Se lemos algo errado, avise-nos e corrigimos a linha.

O que o INFRO não faz

  • Escolher um provedor por preço, disponibilidade, throughput ou latência.
  • Implementar o protocolo do Vercel AI Gateway.
  • Atender Realtime, OCR ou busca, ou embeddings em provedores além de OpenAI, Azure OpenAI, Mistral ou um endpoint compatível com OpenAI.
  • Recorrer a uma conta que não é sua.
  • Rodar sob uma licença open source.

O que não é levado

  • Logs, analytics e histórico de custos. Não há importador.
  • Créditos na sua conta do LLM Gateway.
  • Rotas dinâmicas e regras de IAM como objetos. Recrie-as como rotas e listas de permissões.

Perguntas

O INFRO suporta o protocolo do Vercel AI Gateway como o LLM Gateway?
Não. Apps com o AI SDK chamam o INFRO por meio de @ai-sdk/openai com a URL base https://api.infro.io/v1; os ids de modelo continuam os mesmos.
Quem paga os provedores?
Você, diretamente, nas suas próprias contas. O INFRO é uma assinatura com 0% de margem sobre o gasto com modelos.
O INFRO é open source?
Não. O INFRO é hospedado; uma implantação auto-hospedada ou híbrida é um contrato enterprise.

Migre conosco ou por conta própria

O programa de migração mapeia, numa chamada, a sua configuração do LLM Gateway para conexões, rotas e orçamentos do INFRO e migra o primeiro serviço com você. Seus provedores continuam cobrando você diretamente; o INFRO é uma assinatura e acrescenta 0% ao gasto com modelos.

Teste de 14 dias Agende uma sessão de migraçãoLer o guia de início rápido

Fontes

Cada afirmação desta página sobre o LLM Gateway vem de uma destas fontes, lidas em 19 de outubro de 2026. Nada é inferido de um teste, de um benchmark ou de uma conversa.