Gateway de LLM open source que você hospeda
INFRO vs LiteLLM
O LiteLLM é um dos gateways de LLM open source mais usados: um SDK Python e um proxy auto-hospedado compatível com OpenAI que alcança mais de 100 provedores, com chaves virtuais, orçamentos por chave, usuário, equipe e usuário final, balanceamento de carga e fallbacks, acompanhamento de gastos, cache, integrações de guardrails e callbacks de logging. O núcleo é licenciado sob MIT; organizações, logs de auditoria e alguns controles de administração ficam sob uma licença comercial enterprise. Se você quer rodar o gateway por conta própria, é a escolha padrão e mereceu esse posto.
Por INFRO Editorial
Última verificação
- Você quer rodar o gateway na sua própria infraestrutura, nos seus termos, sem contrato com fornecedor. O LiteLLM foi feito para ser auto-hospedado por qualquer pessoa; as implantações auto-hospedadas e híbridas do INFRO vêm apenas com um contrato enterprise.
- Você quer código open source que possa ler, corrigir e bifurcar, sem assinatura para o núcleo.
- Você precisa de um provedor que o INFRO não conecta. O catálogo deles, com mais de 100 provedores, é bem mais amplo que a nossa lista de tipos de provedor.
- Gerenciamento de prompts, cache semântico ou um fornecedor específico de guardrails (Presidio, Lakera, Bedrock Guardrails e outros) faz parte do requisito. O INFRO não tem gerenciamento de prompts, e seus guardrails são verificações por padrões para PII, segredos e termos próprios em chat completions, além de verificações por classificador que leem apenas prompts, na sua própria conexão com um modelo de decisão, no plano Business.
- Você chama modelos a partir de Python e quer o roteamento no processo, como biblioteca, sem nenhum salto de gateway.
Esta seção não é cortesia. Se uma destas situações descreve você, escolha o LiteLLM — um cliente que adota a camada errada por conselho nosso é pior para nós do que um que nunca tivemos.
Onde os dois realmente divergem.
- Software que você opera, ou um serviço que você usa
- O proxy LiteLLM é seu para operar. Chaves virtuais e acompanhamento de gastos precisam de um banco Postgres; além de uma instância, limites compartilhados e estado do roteador precisam de Redis, ou cada instância aplica seus limites por conta própria. Atualizações, escala, backups e plantão fazem parte de adotá-lo — o que serve a uma equipe de plataforma que já roda esse tipo de serviço e é trabalho de verdade para quem não roda. Os planos do INFRO são hospedados: não há nada para implantar. A troca é o espelho: suas requisições passam pelo nosso serviço, não pelo seu. Um contrato enterprise pode colocar o INFRO na sua própria infraestrutura; sem um, esse é exatamente o caso em que o LiteLLM é a melhor escolha.
- Onde ficam os controles da organização
- No LiteLLM, organizações e suas funções de administração, logs de auditoria e login único acima de cinco usuários são recursos da licença enterprise. No INFRO, projetos, ambientes, cinco funções, listas de permissões de modelos nos níveis de organização, projeto e chave, orçamentos e um log de auditoria de quem mudou qual política estão em todos os planos, inclusive o de entrada. SSO SAML/OIDC e SCIM vêm com o plano Business; são novos e ainda não rodaram em produção com o provedor de identidade de um cliente, por isso configuramos a primeira conexão com você.
- Custo estimado, e depois o número do próprio provedor
- Os dois produtos estimam o custo de cada requisição a partir de uma tabela de preços e os dois aceitam as suas próprias tarifas. O LiteLLM documenta uma conferência do seu gasto com a Costs API da OpenAI como algo previsto para uma versão futura. No plano Business, o INFRO confere a estimativa do mês com as APIs de custo da própria OpenAI e da Anthropic e informa a variação em vez de presumir que não há nenhuma.
- Não é um ou outro
- Um proxy LiteLLM que você já executa fala a API da OpenAI, então pode ser conectado ao INFRO como um endpoint compatível com OpenAI: mantenha-o para os provedores que só ele alcança e coloque os orçamentos, a atribuição e a trilha de auditoria do INFRO na frente de todo o ambiente.
Quanto o gateway custa com $2K, $20K e $60K por mês.
O LiteLLM não cobra nada pelo seu gateway com licença MIT; o que ele custa são os servidores, o banco Postgres e as pessoas que o mantêm funcionando, algo que nenhuma tabela consegue precificar por você. O INFRO é um plano fixo por volume de requisições.
| Gastos mensais com modelos | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM, auto-hospedadoSem licença; seus servidores, o Postgres e o plantão ficam por fora e não entram aqui | $0só licença | $0só licença | $0só licença |
| INFROPlano fixo por volume de requisições, 0% de margem | $35Developer, 100K requisições | $199Team, 1M requisições | $599Business, 3M requisições |
Só a cobrança do próprio gateway. Os gastos com modelos são os mesmos em todas as linhas e não estão incluídos. O plano do INFRO acompanha as requisições, não os gastos, então a linha do INFRO supõe uma média de $0.02 de gastos com modelos por requisição (100K, 1M, 3M requisições). É uma ilustração, não uma média medida. Cobrança mensal; planos anuais custam menos por mês. Coloque seus próprios números na calculadora de custo do gateway.
Onde LiteLLM custa menos: LiteLLM, auto-hospedado com $2,000 por mês ($0 contra o INFRO Developer a $35); LiteLLM, auto-hospedado com $20,000 por mês ($0 contra o INFRO Team a $199); LiteLLM, auto-hospedado com $60,000 por mês ($0 contra o INFRO Business a $599).
O que é preciso para sair do LiteLLM.
- 01Os clientes mantêm o SDK da OpenAI: troque a URL base do seu proxy LiteLLM para
https://api.infro.io/v1e use uma chave do gateway do INFRO. - 02Cada provedor do seu
model_listdo LiteLLM vira uma conta de provedor conectada no INFRO; os aliases de modelos viram idsvendor/modelou rotas nomeadas. - 03As chaves virtuais viram chaves do gateway com seus próprios limites de gastos, provedores e modelos permitidos; times correspondem a projetos e orçamentos por usuário a tetos por cliente final (plano Team).
- 04As configurações do roteador (fallbacks, novas tentativas, balanceamento de carga) viram os destinos e as regras de falha de uma rota.
- 05Tudo o que foi construído sobre o SDK Python do LiteLLM no mesmo processo continua como está, ou chama o INFRO como qualquer endpoint compatível com OpenAI. Você também pode manter o proxy e conectá-lo ao INFRO como um provedor compatível com OpenAI.
Lado a lado.
A nossa coluna também tem traços. Uma comparação em que um dos lados só tem marcações de sim é uma em que ninguém acredita, e com razão.
| Recurso | LiteLLM | INFRO |
|---|---|---|
| Uma API para muitos provedores | simmais de 100 provedores | simos provedores que você conecta |
| Roteamento, novas tentativas e failover | sim | sim |
| Suas próprias contas de provedor | simvocê o executa com as suas chaves | simconectado por ambiente |
| Auto-hospedagem e open source | simNúcleo MIT | parcialauto-hospedado por contrato; gateway não é open source |
| Nada a implantar ou operar | nãoPostgres; Redis além de uma instância | simserviço hospedado |
| Orçamentos por chave, usuário, equipe e usuário final | sim | sim |
| Custo por requisição nas suas próprias tarifas | simpreços personalizados | simtarifas negociadas no Team e acima |
| Reconciliação com a fatura do próprio provedor | parcialSomente OpenAI, anunciado para uma versão futura | parcialOpenAI e Anthropic, plano Business; variação mostrada |
| Guardrails e mascaramento de PII | simmuitas integrações | parcialpadrões de chat mais classificadores de prompts; plano Business |
| Gerenciamento de prompts | sim | nãonão construído |
| Funções da organização e log de auditoria | parciallicença enterprise | simtodos os planos |
| Imagem, vídeo e áudio | sim | sim |
| Disponível hoje | sim | simcadastro self-service |
Nossa leitura da documentação pública de cada produto em outubro de 2026. Não citamos preços de concorrentes — os deles mudam, e um número errado sobre o negócio de outra pessoa é pior que nenhum. Acha que uma linha está errada? Avise e corrigiremos.
Calcule quanto vale a diferença
Estime quanto o seu mix atual de modelos custa pelas tarifas de tabela dos seus provedores e o plano de que ele precisa, ou peça que analisemos o seu uso real e digamos onde ajudaríamos e onde não.
Já usa o LiteLLM? Leia o guia de migração do LiteLLM: o código que muda, o que é mantido e o que não é.
Pesando mais de duas opções? Compare todas as alternativas ao LiteLLM, com quando cada uma é a melhor escolha.
Fontes
Todos os dados sobre LiteLLM nesta página vêm das próprias páginas dele, abertas na data indicada.
- 1.litellm.ai (abre em uma nova aba) — verificado em Oct 24, 2026. The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy (abre em uma nova aba) — verificado em Oct 24, 2026. The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise (abre em uma nova aba) — verificado em Oct 24, 2026. LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 (abre em uma nova aba) — verificado em Oct 24, 2026. On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.