직접 호스팅하는 오픈소스 LLM 게이트웨이
INFRO vs LiteLLM
LiteLLM은 가장 널리 쓰이는 오픈소스 LLM 게이트웨이 중 하나입니다. 100곳이 넘는 공급자에 닿는 Python SDK와 자체 호스팅 OpenAI 호환 프록시로, 가상 키, 키, 사용자, 팀, 최종 고객별 예산, 부하 분산과 폴백, 지출 추적, 캐싱, 가드레일 연동, 로깅 콜백을 제공합니다. 핵심은 MIT 라이선스이고, 조직, 감사 로그, 일부 관리 통제는 상용 엔터프라이즈 라이선스에 속합니다. 게이트웨이를 직접 운영하고 싶다면 기본 선택이며 그럴 만한 자격이 있습니다.
작성자 INFRO Editorial
마지막 확인
- 벤더 계약 없이 자체 조건으로 자체 인프라에서 게이트웨이를 운영하고 싶은 경우입니다. LiteLLM은 누구나 자체 호스팅할 수 있도록 만들어졌습니다. INFRO의 자체 호스팅과 하이브리드 배포는 엔터프라이즈 계약으로만 제공됩니다.
- 핵심에 구독 없이 읽고, 패치하고, 포크할 수 있는 오픈소스 코드를 원하는 경우입니다.
- INFRO가 연결하지 않는 공급자가 필요한 경우입니다. 그쪽의 100곳이 넘는 공급자 카탈로그는 저희의 공급자 종류 목록보다 훨씬 넓습니다.
- 프롬프트 관리, 시맨틱 캐싱, 또는 특정 가드레일 벤더(Presidio, Lakera, Bedrock Guardrails 등)가 요구 사항의 일부인 경우입니다. INFRO에는 프롬프트 관리가 없고, 가드레일은 채팅 완성에서 PII, 비밀 값, 직접 정한 용어를 보는 패턴 기반 검사이며, Business 요금제에서는 자체 의사결정 모델 연결에서 프롬프트만 읽는 분류기 검사가 추가됩니다.
- Python에서 모델을 호출하고 게이트웨이 홉 없이 라이브러리로 프로세스 안에서 라우팅하고 싶은 경우입니다.
이 섹션은 예의상 넣은 것이 아닙니다. 이 중 하나에 해당한다면 LiteLLM 쪽을 선택하세요. 저희 조언으로 맞지 않는 계층을 도입한 고객은 처음부터 고객이 아니었던 경우보다 저희에게 더 나쁩니다.
두 제품이 실제로 갈라지는 지점.
- 직접 운영하는 소프트웨어인가, 이용하는 서비스인가
- LiteLLM 프록시는 직접 운영해야 합니다. 가상 키와 지출 추적에는 Postgres 데이터베이스가 필요하고, 인스턴스가 하나를 넘으면 공유 한도와 라우터 상태에 Redis가 필요하며, 그렇지 않으면 각 인스턴스가 자기 한도를 따로 적용합니다. 업그레이드, 확장, 백업, 온콜이 도입에 포함됩니다. 이런 서비스를 이미 운영하는 플랫폼 팀에는 맞고, 그렇지 않은 팀에는 실제 부담입니다. INFRO의 요금제는 호스팅형이라 배포할 것이 없습니다. 대신 반대의 절충이 따릅니다. 요청이 사용자의 서비스가 아닌 저희 서비스를 거칩니다. 엔터프라이즈 계약으로 INFRO를 자체 인프라에 둘 수 있지만, 그렇지 않다면 바로 그 경우가 LiteLLM이 더 나은 선택인 경우입니다.
- 조직 통제가 있는 곳
- LiteLLM에서는 조직과 관리자 역할, 감사 로그, 사용자 5명을 넘는 싱글 사인온이 엔터프라이즈 라이선스 기능입니다. INFRO에서는 프로젝트, 환경, 다섯 가지 역할, 조직, 프로젝트, 키 단위의 모델 허용 목록, 예산, 누가 어떤 정책을 바꿨는지에 대한 감사 로그가 기본 요금제를 포함한 모든 요금제에 있습니다. SAML/OIDC SSO와 SCIM은 Business 요금제에서 제공되며, 새 기능이라 아직 고객의 ID 공급자와 프로덕션에서 실행된 적이 없으므로 첫 연결은 함께 설정해 드립니다.
- 예상 비용, 그리고 공급자 자체의 수치
- 두 제품 모두 가격표로 각 요청의 비용을 추정하고 자체 요율을 받아들입니다. LiteLLM은 자체 지출을 OpenAI의 Costs API와 대조하는 기능이 향후 릴리스에서 제공될 것이라고 문서화하고 있습니다. INFRO는 Business 요금제에서 그 달의 추정치를 OpenAI와 Anthropic의 비용 API와 대조하며, 편차가 없다고 가정하지 않고 편차를 명시합니다.
- 양자택일이 아님
- 이미 운영 중인 LiteLLM 프록시는 OpenAI API를 사용하므로 OpenAI 호환 엔드포인트로 INFRO에 연결할 수 있습니다. LiteLLM은 그것만 닿는 공급자에 쓰도록 유지하고, INFRO의 예산, 귀속, 감사 기록을 전체 환경 앞에 둡니다.
월 $2K, $20K, $60K에서 게이트웨이 비용.
LiteLLM은 MIT 라이선스 게이트웨이에 요금을 받지 않습니다. 비용이 되는 것은 서버, Postgres 데이터베이스, 그리고 이를 계속 운영하는 사람이며, 이는 어떤 표도 대신 계산해 줄 수 없습니다. INFRO는 요청량 기준 정액 요금제입니다.
| 월 모델 지출 | $2,000 | $20,000 | $60,000 |
|---|---|---|---|
| LiteLLM, 자체 호스팅라이선스 비용 없음. 서버, Postgres, 온콜은 별도이며 여기에 포함하지 않았습니다 | $0라이선스만 | $0라이선스만 | $0라이선스만 |
| INFRO요청량 기준 정액 요금제, 가산 0% | $35Developer, 100K 요청 | $199Team, 1M 요청 | $599Business, 3M 요청 |
게이트웨이 자체 요금만 표시합니다. 모델 지출은 모든 행에서 같으며 포함하지 않았습니다. INFRO 요금제는 지출이 아니라 요청 수를 따르므로, INFRO 행은 요청당 평균 $0.02의 모델 지출을 가정합니다(100K, 1M, 3M 요청). 이는 예시이며 측정된 평균이 아닙니다. 월 결제 기준이며, 연간 요금제는 월 비용이 더 적습니다. 게이트웨이 비용 계산기에 직접 숫자를 넣어 보세요.
LiteLLM의 비용이 더 적은 경우: LiteLLM, 자체 호스팅, 월 $2,000일 때($0, INFRO Developer은 $35); LiteLLM, 자체 호스팅, 월 $20,000일 때($0, INFRO Team은 $199); LiteLLM, 자체 호스팅, 월 $60,000일 때($0, INFRO Business은 $599).
LiteLLM에서 옮겨 오는 데 필요한 것.
- 01클라이언트는 OpenAI SDK를 그대로 씁니다. 기본 URL을 LiteLLM 프록시에서
https://api.infro.io/v1로 바꾸고 INFRO 게이트웨이 키를 사용합니다. - 02LiteLLM
model_list의 각 공급자는 INFRO에 연결된 공급자 계정이 되고, 모델 별칭은vendor/modelID나 이름이 지정된 라우트가 됩니다. - 03가상 키는 자체 지출 한도와 허용된 공급자 및 모델을 가진 게이트웨이 키가 됩니다. 팀은 프로젝트에, 사용자 예산은 최종 고객 한도(Team 요금제)에 대응합니다.
- 04라우터 설정(폴백, 재시도, 부하 분산)은 라우트의 대상과 실패 규칙이 됩니다.
- 05같은 프로세스 안에서 LiteLLM의 Python SDK로 만든 부분은 그대로 두거나, 다른 OpenAI 호환 엔드포인트처럼 INFRO를 호출하면 됩니다. 프록시를 유지하고 OpenAI 호환 공급자로 INFRO에 연결할 수도 있습니다.
나란히 비교.
저희 열에도 대시가 있습니다. 한쪽이 모두 체크인 비교는 아무도 믿지 않으며, 그럴 만합니다.
| 기능 | LiteLLM | INFRO |
|---|---|---|
| 여러 공급자를 아우르는 API 하나 | 예공급자 100곳 이상 | 예연결한 공급자 |
| 라우팅, 재시도, 페일오버 | 예 | 예 |
| 자체 공급자 계정 | 예자체 키로 직접 운영 | 예환경별로 연결 |
| 자체 호스팅과 오픈소스 | 예MIT 핵심 | 부분계약에 따른 자체 호스팅, 게이트웨이는 오픈소스 아님 |
| 배포하거나 운영할 것이 없음 | 아니요Postgres, 인스턴스가 하나를 넘으면 Redis | 예호스팅 서비스 |
| 키, 사용자, 팀, 최종 고객별 예산 | 예 | 예 |
| 자체 요율 기준의 요청별 비용 | 예맞춤 가격 | 예Team 이상에서 협상 요율 |
| 공급자 자체 청구서와의 대조 | 부분OpenAI만, 향후 릴리스 예정으로 발표됨 | 부분OpenAI와 Anthropic, Business 요금제, 편차 명시 |
| 가드레일 및 PII 마스킹 | 예다양한 통합 | 부분채팅 패턴과 프롬프트 분류기, Business 요금제 |
| 프롬프트 관리 | 예 | 아니요제공하지 않음 |
| 조직 역할과 감사 로그 | 부분엔터프라이즈 라이선스 | 예모든 요금제 |
| 이미지, 동영상, 오디오 | 예 | 예 |
| 현재 사용 가능 | 예 | 예셀프 서비스 가입 |
각 제품의 공개 문서를 2026년 10월 기준으로 저희가 읽은 내용입니다. 경쟁사의 가격은 인용하지 않습니다. 가격은 바뀌고, 다른 회사 사업에 대한 틀린 숫자는 없는 것보다 나쁘기 때문입니다. 틀린 행이 있다고 생각되면 알려 주세요. 고치겠습니다.
그 차이의 가치를 계산해 보세요
현재 모델 구성이 공급자 정가로 얼마나 드는지와 필요한 요금제를 추정하거나, 실제 사용량을 저희에게 보내 도움이 되는 곳과 그렇지 않은 곳을 확인하세요.
이미 LiteLLM 사용 중이신가요? LiteLLM에서 옮겨 오는 마이그레이션 가이드를 읽어 보세요: 바뀌는 코드, 그대로 이어지는 것과 그렇지 않은 것.
둘 이상의 옵션을 비교하고 계신가요? LiteLLM의 모든 대안 비교에서 각 옵션이 더 적합한 경우를 확인하세요.
출처
이 페이지의 LiteLLM에 관한 모든 수치는 해당 회사의 자체 페이지에서 표시된 날짜에 확인한 것입니다.
- 1.litellm.ai (새 탭에서 열림) — Oct 24, 2026에 확인했습니다. The LiteLLM gateway is MIT licensed and free to self-host. LiteLLM describes itself as open source and self-hosted, deployed into your own cloud; no LiteLLM-run hosted service was listed on its site or docs.
- 2.docs.litellm.ai/docs/simple_proxy (새 탭에서 열림) — Oct 24, 2026에 확인했습니다. The LiteLLM gateway is a self-hosted server started with Docker, Helm or Terraform, backed by a Postgres database you run. LiteLLM records the cost of each request and shows spend per key, team, user and tag; each key carries a team, a budget and a model list.
- 3.docs.litellm.ai/docs/enterprise (새 탭에서 열림) — Oct 24, 2026에 확인했습니다. LiteLLM's SSO is free for up to 5 users; more needs an Enterprise license. LiteLLM Enterprise is a license key on the same image, priced by deployment size and usage; no price is published.
- 4.docs.litellm.ai/blog/security-update-march-2026 (새 탭에서 열림) — Oct 24, 2026에 확인했습니다. On 24 March 2026, litellm 1.82.7 and 1.82.8 on PyPI carried credential-stealing code for about 40 minutes; LiteLLM says the official Proxy Docker image was not affected and 1.83.0 is clean.