본문으로 건너뛰기

마이그레이션 가이드LiteLLM에서

직접 운영하는 LiteLLM 프록시에서, 운영하지 않는 쪽으로

LiteLLM은 두 가지입니다. 100곳 이상의 공급자와 통신하는 Python SDK, 그리고 Postgres와 Redis로 배포해 가상 키, 예산, 폴백, 캐싱을 더하는 프록시입니다. 둘 다 INFRO처럼 사용자의 자체 공급자 키로 실행됩니다. 달라지는 것은 프록시를 누가 운영하느냐입니다. 이 페이지는 프록시 설정을 INFRO에 대응시키고 SDK를 유지하는 방법을 보여 줍니다.

BerriAI의 MIT 오픈소스와 라이선스형 Enterprise 에디션. 자체 호스팅

INFRO 계정은 셀프 서비스입니다. 카탈로그, 문서, API 계약은 공개되어 있고, 게이트웨이는 배포되어 있으며, v1 이후의 기능은 Later로 표시됩니다. 요금제와 체험

현재 상황

라이선스와 에디션

enterprise/ 디렉터리 밖의 모든 것은 MIT입니다. Enterprise는 라이선스 키가 있는 같은 이미지이며 SSO, SCIM, 감사 로그, 시크릿 관리자, 지원이 추가됩니다.

2026년 보안 권고

LiteLLM 자체 블로그에는 2026-03-24 litellm 1.82.7과 1.82.8의 PyPI 침해(공식 Docker 이미지는 영향 없음, 정상인 1.83.0이 2026-03-30 배포), 1.83.7(2026-04-29)에서 수정된 프록시 키 검증의 SQL 인젝션, 1.84.0(2026-06-01)에서 수정된 Host 헤더 인증 우회가 나열되어 있습니다. 프록시를 직접 운영한다면 이런 것을 직접 추적해야 합니다.

요청을 처리하는 계정

두 제품 모두 사용자입니다. LiteLLM은 공급자 계정을 보유하지 않고 INFRO도 마찬가지이며, 공급자가 사용자에게 직접 청구합니다.

LiteLLM은 무료이고 개방적이며 어디서나 실행됩니다. 그것이 선택한 이유라면 지금도 충분히 좋은 이유입니다.

  • 트래픽이 네트워크를 벗어나서는 안 되거나, 게이트웨이 코드를 읽고 패치할 수 있어야 하는 경우입니다. INFRO는 호스팅형이며 비공개 소스이고, 자체 호스팅이나 하이브리드는 엔터프라이즈 계약입니다.
  • 시맨틱 캐싱, 컨텍스트 윈도우 또는 콘텐츠 정책 폴백, A2A 에이전트 게이트웨이, 특정 로깅 벤더로의 콜백을 쓰는 경우입니다. INFRO에는 정확 일치 캐싱, 라우트 실패 규칙, MCP 게이트웨이, OpenTelemetry 내보내기가 있습니다.
  • INFRO가 연결하지 않는 공급자나 제공하지 않는 엔드포인트를 호출하는 경우입니다. 배치, 파일, 파인튜닝, Realtime, 그리고 OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트가 아닌 공급자의 임베딩이 해당합니다.
  • 플랫폼 팀이 이미 Postgres, Redis, 업그레이드를 맡고 있어서 운영에 드는 부담이 작습니다.

수정 사항을 한 행에 하나씩 정리했습니다. 여기에 없는 것은 그대로 유지됩니다.

 LiteLLMINFRO
베이스 URL사용 중인 프록시, 예: http://0.0.0.0:4000.https://api.infro.io/v1
키/key/generate에서 발급한 LiteLLM 가상 키(sk-...).콘솔 또는 관리 API에서 만든 INFRO 게이트웨이 키. 공급자 키는 litellm_params에서 INFRO 연결로 옮겨집니다.
모델 IDmodel_list의 model_name, 예: gpt-4o.같은 이름의 라우트(호출자는 그대로 그 이름을 보냅니다), 또는 vendor/model 직접 지정.
본문 필드metadata { tags, trace_id, trace_user_id, generation_name }, cache { ttl, namespace }, user.metadata { user_id, session_id, tags }, 응답 캐시용 cache, 트레이스 ID용 X-INFRO-Trace-Id.

이전 · LiteLLM proxy

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://0.0.0.0:4000",
  apiKey: process.env.LITELLM_API_KEY, // virtual key
});

await client.chat.completions.create({
  model: "claude-default", // model_name in model_list
  messages: [{ role: "user", content: "Hello" }],
  user: "user-123",
  // @ts-expect-error LiteLLM extension
  metadata: { tags: ["production"] },
});

이후 · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY,
});

await client.chat.completions.create({
  model: "claude-default", // an INFRO route, same name
  messages: [{ role: "user", content: "Hello" }],
  // @ts-expect-error INFRO extension
  metadata: { user_id: "user-123", tags: { env: "production" } },
});

`model_list`는 라우트가 됩니다

배포가 여러 개인 model_name은 그 대상들을 가진 라우트가 되고, rpm 가중치는 가중치 대상이 되며, router_settings.fallbacks는 라우트의 이후 대상 또는 fallbacks가 됩니다.

SDK 유지

LiteLLM의 OpenAI 호환 공급자는 openai/ 뒤의 모든 것을 모델 ID로 보내므로, openai/anthropic/claude-sonnet-5.5는 INFRO에 anthropic/claude-sonnet-5.5로 도달합니다. 폴백은 이후 SDK가 아니라 INFRO에서 이루어집니다.

또는 프록시를 INFRO 뒤에 유지

이전하는 동안 프록시를 openai-compatible 연결로 연결하세요. 이 경우 INFRO에는 프록시가 공급자 하나로만 보이므로, 공급자를 직접 연결하기 전까지는 공급자별 페일오버와 비용 처리가 계속 LiteLLM 안에서 이루어집니다.

LiteLLM의 공개 문서(2026년 10월 19일에 읽음)를 바탕으로 LiteLLM의 객체를 INFRO의 객체와 대조하고, 게이트웨이가 구현한 내용과 비교해 확인했습니다. INFRO에 없다고 표시된 행이 1개입니다.

LiteLLM그곳에서 하는 일INFRO에서
`model_list`와 `litellm_params`같은 구조모델 이름별 배포, 공급자 키는 설정에 둠.공급자 연결(암호화된 키, 공급자당 여러 개)과 그 위의 라우트.
가상 키같은 구조허용 모델, 예산, tpm과 rpm, 팀과 사용자가 있는, 프록시가 발급한 키.허용 모델, 공급자, IP 범위, 환경, 지출 한도, 요청 속도 등급이 있는 게이트웨이 키. 교체와 끄기 스위치.
팀, 사용자, 예산같은 구조키, 팀, 사용자별 max_budget과 budget_duration.조직, 프로젝트, 멤버, 키, 최종 고객별 예산으로, 동시 요청에서도 유지되며 상한에 도달하면 공급자 호출 전에 402를 반환합니다.
tpm 제한다름키 또는 배포별 분당 토큰 제한.키별 요청 속도 등급과 달러 예산. 분당 토큰 제한은 없습니다.
폴백과 재시도같은 구조fallbacks, num_retries, 쿨다운, allowed_fails.종류별 라우트 대상과 실패 규칙(재시도, 페일오버, 중단). 요청별 fallbacks.
컨텍스트 윈도우 및 콘텐츠 정책 폴백다름프롬프트가 너무 길거나 공급자의 정책이 거부할 때 다른 모델로.moderation 실패 규칙은 다음 대상으로 페일오버할 수 있습니다. 컨텍스트 윈도우 폴백은 없습니다.
캐싱다름Redis, S3, GCS, Qdrant 등에 두는 정확 일치 및 시맨틱 캐시.채팅 완성에 대한 정확 일치, 선택적으로 켜며, 호스팅형. 시맨틱 캐시는 없습니다.
가드레일다름플러그인 방식의 가드레일. 여러 통합에는 Enterprise가 필요합니다.차단, 마스킹, 표시를 하는 패턴 규칙과 의사결정 모델 검사. 가드레일이 포함된 모든 요금제에서.
로깅 콜백다름Langfuse 등 도구로의 콜백, Postgres의 지출 로그.요청 로그, 내보내기, OpenTelemetry 수집기로 보내는 스팬.
지출 추적다름LiteLLM의 모델 가격 맵에서 가져온 비용.협상 요율 또는 벤더의 정가를 기준으로 한 예상 공급자 비용, 알 수 없으면 unpriced, OpenAI와 Anthropic의 비용 API와 대조.
MCP 게이트웨이같은 구조프록시 뒤의 MCP 서버.자체 MCP 서버를 위한 MCP 게이트웨이. 승인된 도구와 키별 권한 부여.
A2A 에이전트 게이트웨이해당 없음프록시를 통한 에이전트 간 트래픽.없음.
직접 운영하기다름MIT, Docker 또는 pip, 어디서나.호스팅형. 자체 호스팅 또는 하이브리드는 엔터프라이즈 계약입니다.Enterprise — 셀프 서비스가 아닌 엔터프라이즈 계약으로 제공됩니다.

체험이나 벤치마크가 아니라 LiteLLM의 공개 문서를 저희가 읽은 결과입니다. 잘못 읽은 부분이 있으면 알려 주세요. 해당 행을 수정하겠습니다.

INFRO가 하지 않는 것

  • 엔터프라이즈 계약 없이 자체 인프라에서 실행하거나 소스를 읽을 수 있게 합니다.
  • 시맨틱 캐싱, 컨텍스트 윈도우 폴백, A2A.
  • 배치, 파일, 파인튜닝, Realtime을 제공하거나, OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트가 아닌 공급자의 임베딩을 제공합니다.
  • 분당 토큰 제한. INFRO는 요청 속도와 달러로 제한합니다.

이어지지 않는 것

  • LiteLLM Postgres의 지출 로그와 요청 기록. 가져오기 도구는 없습니다.
  • 가상 키. INFRO 게이트웨이 키를 발급하고 호출자를 순차적으로 교체하세요.
  • 콜백과 사용자 지정 훅. OpenTelemetry 내보내기를 쓰거나 그 로직을 코드에 두세요.

질문

LiteLLM Python SDK를 계속 쓸 수 있나요?
예. LiteLLM의 OpenAI 호환 공급자로 INFRO를 호출하세요. model="openai/<INFRO model id>", api_base="https://api.infro.io/v1", 그리고 INFRO 키를 사용합니다.
INFRO도 LiteLLM처럼 오픈소스인가요?
아니요. INFRO는 호스팅 서비스이며, 자체 호스팅이나 하이브리드 배포는 엔터프라이즈 계약으로 제공됩니다.
모델 공급자에게는 누가 비용을 내나요?
LiteLLM과 마찬가지로 사용자가 직접 냅니다. INFRO는 구독이며 모델 지출에 0%를 더합니다.

저희와 함께, 또는 직접 옮기세요

마이그레이션 프로그램에서는 통화로 LiteLLM 설정을 INFRO 연결, 라우트, 예산에 매핑하고 첫 서비스를 함께 옮깁니다. 공급자는 계속 고객에게 직접 청구하며, INFRO는 구독이고 모델 지출에 0%를 더합니다.

14일 체험 시작 마이그레이션 세션 예약INFRO vs LiteLLM빠른 시작 읽기

출처

이 페이지에서 LiteLLM에 관한 모든 서술은 2026년 10월 19일에 읽은 다음 자료 중 하나에서 나왔습니다. 체험, 벤치마크, 대화에서 추론한 것은 없습니다.