你自己托管的开源 LLM 网关
INFRO vs LiteLLM
LiteLLM 是使用最广泛的开源 LLM 网关之一：一个 Python SDK 和一个自托管、兼容 OpenAI 的代理，可访问 100 多家提供商，具备虚拟密钥、按密钥、用户、团队和终端用户设置的预算、负载均衡和回退、支出追踪、缓存、护栏集成和日志回调。核心采用 MIT 许可；组织、审计日志和部分管理控制则属于商业企业许可。如果你想自己运行网关，它是默认之选，也当之无愧。
最后检查：
- 你想在自己的基础设施上按自己的条件运行网关，且不需要任何厂商协议。LiteLLM 就是为任何人自托管而构建的；INFRO 的自托管和混合部署仅随企业协议提供。
- 你想要可以阅读、修补和分叉的开源代码，核心功能无需订阅。
- 你需要 INFRO 没有连接的提供商。他们 100 多家提供商的目录，比我们的提供商类型列表宽得多。
- 需求中包含提示词管理、语义缓存或某个特定的护栏厂商（Presidio、Lakera、Bedrock Guardrails 等）。INFRO 没有提示词管理，其护栏是针对聊天补全中 PII、密钥和你自己指定术语的模式检查，外加在你自己的决策模型连接上运行、仅读取提示词的分类器检查，在 Business 套餐中提供。
- 你从 Python 调用模型，希望路由以库的形式在进程内完成，完全没有网关这一跳。
这一节不是客套。如果其中某一条说的正是你，请选择 LiteLLM——一个听了我们的建议却用错了这一层的客户，对我们来说比从未成为客户更糟。
两者真正的分歧所在。
- 你自己运行的软件，还是你使用的服务
- LiteLLM 代理需要你自己运维。虚拟密钥和支出追踪需要 Postgres 数据库；超过一个实例后，共享限额和路由器状态需要 Redis，否则每个实例只会各自执行自己的限额。升级、扩容、备份和值班都是采用它的一部分——这适合已经在运行这类服务的平台团队，对没有的团队则是实实在在的工作。INFRO 的套餐是托管的：无需部署任何东西。取舍是镜像对称的：你的请求会经过我们的服务而不是你自己的服务。企业协议可以把 INFRO 部署到你自己的基础设施中；没有协议时，这恰恰是 LiteLLM 更合适的情形。
- 组织控制位于何处
- 在 LiteLLM 中，组织及其管理员角色、审计日志，以及超过五个用户的单点登录都属于企业许可功能。在 INFRO 中，项目、环境、五种角色、组织、项目和密钥层级的模型允许列表、预算，以及记录谁更改了哪项策略的审计日志，所有套餐都有，包括入门套餐。SAML/OIDC SSO 和 SCIM 随 Business 套餐提供；它们是新功能，尚未在生产环境中与客户的身份提供商实际运行过，因此首次连接由我们与你一起设置。
- 先是估算成本，再是提供商自己的数字
- 两款产品都根据价格表估算每个请求的成本，也都接受你自己的费率。LiteLLM 的文档称，将其支出与 OpenAI 的 Costs API 核对的功能将在即将发布的版本中推出。在 Business 套餐中，INFRO 会把当月估算与 OpenAI 和 Anthropic 自己的成本 API 核对，并说明差异，而不是假定没有差异。
- 不是二选一
- 你已经在运行的 LiteLLM 代理使用 OpenAI API，因此可以作为 OpenAI 兼容端点连接到 INFRO：只保留它独有的提供商，再把 INFRO 的预算、归因和审计轨迹放在整个体系之前。
每月 $2K、$20K 和 $60K 时网关的费用。
LiteLLM 的 MIT 许可网关不收取任何费用；你要付出的是服务器、Postgres 数据库以及维持它运行的人力，这些没有哪张表能替你算出来。INFRO 是按请求量计费的固定套餐。
| 每月模型支出 | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM，自托管无许可费；服务器、Postgres 和值班另计，不包含在此 | $0仅许可 | $0仅许可 | $0仅许可 |
| INFRO按请求量计费的固定套餐，0% 加价 | $35Developer，100K 个请求 | $199Team，1M 个请求 | $599Business，3M 个请求 |
仅为网关本身的收费。模型支出在每一行都相同，且不包含在内。INFRO 的套餐按请求数而非支出计算，因此 INFRO 这一行假定每个请求平均有 $0.02 的模型支出（100K, 1M, 3M 个请求）。这只是示例，不是实测平均值。按月计费；年付套餐每月费用更低。可以在网关费用计算器中填入你自己的数字。
LiteLLM 费用更低的情况：LiteLLM，自托管，每月 $2,000 时（$0，对比 INFRO Developer 的 $35）; LiteLLM，自托管，每月 $20,000 时（$0，对比 INFRO Team 的 $199）; LiteLLM，自托管，每月 $60,000 时（$0，对比 INFRO Business 的 $599）。
从 LiteLLM 迁移需要做什么。
- 01客户端继续使用 OpenAI SDK：把 base URL 从你的 LiteLLM 代理改为
https://api.infro.io/v1，并使用 INFRO 网关密钥。 - 02LiteLLM
model_list中的每个提供商都变为 INFRO 中已连接的提供商账号；模型别名变为vendor/modelID 或具名路由。 - 03虚拟密钥变为具有自己的支出限额、允许的提供商和模型的网关密钥；团队对应项目，用户预算对应终端客户上限（Team 套餐）。
- 04路由器设置（回退、重试、负载均衡）变为路由的目标和失败规则。
- 05在同一进程内基于 LiteLLM Python SDK 构建的部分保持不变，或者像调用任何 OpenAI 兼容端点一样调用 INFRO。你也可以保留代理，把它作为 OpenAI 兼容的提供商连接到 INFRO。
并排对比。
我们这一栏也有横线。一方全是勾的对比没人会信，而且理应如此。
| 能力 | LiteLLM | INFRO |
|---|---|---|
| 一套 API 访问众多提供商 | 是100+ 家提供商 | 是你所连接的提供商 |
| 路由、重试和故障转移 | 是 | 是 |
| 你自己的提供商账号 | 是你用自己的密钥运行它 | 是按环境连接 |
| 自托管和开源 | 是MIT 核心 | 部分可按协议自托管；网关不是开源的 |
| 无需部署或运维任何东西 | 否Postgres；超过一个实例后需要 Redis | 是托管服务 |
| 按密钥、用户、团队和终端用户设置预算 | 是 | 是 |
| 按你自己的费率计算的每请求成本 | 是自定义定价 | 是协商价，Team 及以上套餐 |
| 与提供商自己的账单对账 | 部分仅限 OpenAI，已宣布将在即将发布的版本中推出 | 部分OpenAI 和 Anthropic，Business 套餐；会说明差异 |
| 护栏和 PII 脱敏 | 是众多集成 | 部分聊天内容模式匹配加提示词分类器；Business 套餐 |
| 提示词管理 | 是 | 否未构建 |
| 组织角色和审计日志 | 部分企业许可 | 是所有套餐 |
| 图像、视频和音频 | 是 | 是 |
| 现已可用 | 是 | 是自助注册 |
这是我们对各产品公开文档的解读，截至 2026年10月。我们不引用竞争对手的价格——他们的价格会变，对别人的业务给出一个错误的数字，不如不给。认为某一行有误？请告诉我们，我们会更正。
已经在用 LiteLLM？阅读从 LiteLLM 迁移的指南：哪些代码要改，哪些可以沿用，哪些不行。
在比较两个以上的选项？查看 LiteLLM 的所有替代方案，了解各自更合适的场景。
来源
本页中关于 LiteLLM 的所有数字均来自其自身页面，查阅日期如所示。
- 1.litellm.ai （在新标签页中打开） — 检查于 Oct 24, 2026。 The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy （在新标签页中打开） — 检查于 Oct 24, 2026。 The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise （在新标签页中打开） — 检查于 Oct 24, 2026。 LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 （在新标签页中打开） — 检查于 Oct 24, 2026。 On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.