마이그레이션 가이드LLM Gateway에서
LLM Gateway에서, 자체 공급자 키를 유지한 채로
LLM Gateway(llmgateway.io)는 크레딧으로 지불하는 자체 공급자 접근, 고객의 공급자 키, 또는 고객의 키에서 크레딧으로 폴백하는 두 가지 혼합 방식으로 실행됩니다. BYOK 모드를 쓰는 팀은 이미 INFRO와 가장 가깝습니다. 이 페이지는 그 모드를 대응시키고, INFRO가 하지 않는 것을 분명히 밝힙니다.
llmgateway.io. AGPLv3 핵심과 라이선스형 `ee/` 에디션. 호스팅 또는 자체 호스팅
INFRO 계정은 셀프 서비스입니다. 카탈로그, 문서, API 계약은 공개되어 있고, 게이트웨이는 배포되어 있으며, v1 이후의 기능은 Later로 표시됩니다. 요금제와 체험
현재 상황
라이선스
theopenco/llmgateway는 핵심이 AGPLv3이고, 상용 기능은 ee/의 별도 Enterprise 라이선스 아래에 있습니다. api.llmgateway.io에서 호스팅되며 자체 호스팅도 가능합니다.
요청을 처리하는 계정
선불 크레딧으로 쓰는 자체 공급자 접근, 고객의 공급자 키(문서에 따르면 게이트웨이 가산 없음), 또는 고객의 키에서 크레딧으로 폴백하는 혼합 방식.
게이트웨이 너머
문서에는 코딩 요금제, 채팅 앱, 공급자 포털, 결제 SDK, decisions, System One 엔드포인트도 있습니다. 이들은 이 대응표에 포함되지 않습니다.
오픈 소스이며 범위가 넓습니다. 다음 용도로 쓰고 있다면 그대로 두세요.
- AGPL로 자체 호스팅하는 경우입니다. INFRO는 호스팅형이며 자체 호스팅이나 하이브리드는 엔터프라이즈 계약입니다.
- 모델 ID만 지정해 가격, 가동 시간, 처리량, 지연 시간으로 공급자를 고르게 하거나
auto,smart모델 선택을 쓰는 경우입니다. INFRO는 가격이나 속도로 고르지 않습니다. - AI SDK 앱이 AI Gateway 프로토콜 엔드포인트를 쓰고 베이스 URL만 바꿔 전환하려는 경우입니다. INFRO는 그 프로토콜을 구현하지 않습니다.
- 게이트웨이로 Realtime, OCR, 검색을 쓰거나, OpenAI, Azure OpenAI, Mistral이 아닌 공급자의 임베딩을 쓰거나, 자체 공급자 계정 없이 모델에 접근하려는 경우입니다.
수정 사항을 한 행에 하나씩 정리했습니다. 여기에 없는 것은 그대로 유지됩니다.
| LLM Gateway | INFRO | |
|---|---|---|
| 베이스 URL | https://api.llmgateway.io/v1, 또는 AI SDK 게이트웨이 프로토콜용 /v1/ai. | https://api.infro.io/v1 |
| 키 | LLM Gateway 키. | INFRO 게이트웨이 키. 공급자 키는 연결이 됩니다. |
| 모델 ID | gpt-5.6-terra(게이트웨이가 선택), openai/gpt-5.6-terra(고정), auto, dynamic/<name>. | openai/gpt-5.6-terra, 또는 dynamic/<name> 대신 라우트 이름. |
| 헤더 | X-LLMGateway-User-ID, X-LLMGateway-Feature, X-No-Fallback, x-no-cache. | X-INFRO-User-Id, X-INFRO-Feature. 요청을 한 공급자에 고정하려면 routing.providers. |
이전 · LLM Gateway
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llmgateway.io/v1",
apiKey: process.env.LLM_GATEWAY_API_KEY,
defaultHeaders: {
"X-LLMGateway-User-ID": "user_123",
"X-LLMGateway-Feature": "chat",
},
});
await client.chat.completions.create({
model: "openai/gpt-5.6-terra",
messages: [{ role: "user", content: "Hello" }],
});이후 · INFRO
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.infro.io/v1",
apiKey: process.env.INFRO_API_KEY,
defaultHeaders: {
"X-INFRO-User-Id": "user_123",
"X-INFRO-Feature": "chat",
},
});
await client.chat.completions.create({
model: "openai/gpt-5.6-terra",
messages: [{ role: "user", content: "Hello" }],
});AI SDK 앱
게이트웨이 공급자를 @ai-sdk/openai의 createOpenAI({ baseURL: "https://api.infro.io/v1", apiKey })로 바꾸고 .chat(modelId)를 호출하세요. 모델 ID는 vendor/model 그대로입니다.
페일오버는 기본으로 켜져 있습니다
모델을 지정한 요청은 그 모델을 제공하는 연결 간에 페일오버합니다. X-No-Fallback이나 고정 ID가 하던 것처럼, routing.providers.allow가 선택한 공급자에 요청을 묶어 둡니다.
동적 라우트는 라우트가 됩니다
각 dynamic/<name> 플로우를 같은 대상의 라우트로 다시 만드세요. 프롬프트 유형별 라우팅은 프롬프트 분류기가 처리합니다.
LLM Gateway의 공개 문서(2026년 10월 19일에 읽음)를 바탕으로 LLM Gateway의 객체를 INFRO의 객체와 대조하고, 게이트웨이가 구현한 내용과 비교해 확인했습니다. INFRO에 없다고 표시된 행이 2개입니다.
| LLM Gateway | 그곳에서 하는 일 | INFRO에서 |
|---|---|---|
| 공급자 키(BYOK)다름 | 허용 모델, 지출 한도, 속도 제한이 있는 자체 키, 크레딧으로의 하이브리드 폴백. | 키별 모델을 지정한 연결. 다른 누구의 계정으로도 폴백하지 않습니다. |
| 가격, 처리량, 지연 시간에 따른 라우팅해당 없음 | 접두사 없는 ID와 routing 전략이 공급자를 고릅니다. | 없습니다. 라우트가 순서나 가중치를 정합니다. |
| `auto`, `smart`, 동적 라우트다름 | 요청마다, 또는 이름이 있는 플로우로 모델을 선택합니다. | 라우트와, 프롬프트 클래스마다 별도 대상으로 보내는 프롬프트 분류기. |
| API 키와 IAM 규칙같은 구조 | 키별 지출 한도와 모델 또는 공급자 허용 및 거부. | 키별 지출 한도, 허용 목록, 공급자 목록. 네 가지 범위의 예산 추가. |
| 게이트웨이 응답 캐싱같은 구조 | TTL이 있는 프로젝트 단위 응답 캐시, 우회하려면 x-no-cache. | TTL과 네임스페이스가 있는, 선택적으로 켜는 정확 일치 캐시. |
| 메타데이터 헤더다름 | 모든 X-LLMGateway-* 헤더. | 본문의 metadata, 또는 X-INFRO-User-Id, X-INFRO-Feature, X-INFRO-Trace-Id. |
| AI SDK 게이트웨이 프로토콜해당 없음 | @ai-sdk/gateway 앱에 base URL만으로 바로 적용. | 구현되어 있지 않습니다. AI SDK의 OpenAI 공급자를 사용하세요. |
| 가드레일, 감사 로그, SSO같은 구조 | 콘텐츠 규칙과 보안 이벤트. Enterprise에서 감사 로그와 SSO. | 가드레일, 감사 로그, Business 요금제부터 SSO와 SCIM. |
| 임베딩, Realtime, OCR, 검색다름 | 제공합니다. | OpenAI, Azure OpenAI, Mistral, OpenAI 호환 연결의 임베딩. Realtime, OCR, 검색은 제공하지 않습니다. |
| 자체 호스팅다름 | AGPLv3 코어, Docker와 Kubernetes. | 호스팅형. 자체 호스팅 또는 하이브리드는 엔터프라이즈 계약입니다.Enterprise — 셀프 서비스가 아닌 엔터프라이즈 계약으로 제공됩니다. |
체험이나 벤치마크가 아니라 LLM Gateway의 공개 문서를 저희가 읽은 결과입니다. 잘못 읽은 부분이 있으면 알려 주세요. 해당 행을 수정하겠습니다.
INFRO가 하지 않는 것
- 가격, 가동 시간, 처리량, 지연 시간으로 공급자 선택.
- Vercel AI Gateway 프로토콜 구현.
- OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트가 아닌 공급자의 Realtime, OCR, 검색 또는 임베딩을 제공합니다.
- 고객 소유가 아닌 계정으로 폴백.
- 오픈소스 라이선스로 실행합니다.
이어지지 않는 것
- 로그, 분석, 비용 기록. 가져오기 도구는 없습니다.
- LLM Gateway 계정의 크레딧.
- 객체로 관리하는 동적 라우트와 IAM 규칙. 라우트와 허용 목록으로 다시 만드세요.
질문
- INFRO는 LLM Gateway처럼 Vercel AI Gateway 프로토콜을 지원하나요?
- 아니요. AI SDK 앱은
@ai-sdk/openai로 베이스 URLhttps://api.infro.io/v1을 지정해 INFRO를 호출합니다. 모델 ID는 그대로입니다. - 공급자에게는 누가 비용을 내나요?
- 사용자가 자체 계정에서 직접 냅니다. INFRO는 모델 지출에 대한 가산이 0%인 구독입니다.
- INFRO는 오픈 소스인가요?
- 아니요. INFRO는 호스팅형이며, 자체 호스팅이나 하이브리드 배포는 엔터프라이즈 계약으로 제공됩니다.
저희와 함께, 또는 직접 옮기세요
마이그레이션 프로그램에서는 통화로 LLM Gateway 설정을 INFRO 연결, 라우트, 예산에 매핑하고 첫 서비스를 함께 옮깁니다. 공급자는 계속 고객에게 직접 청구하며, INFRO는 구독이고 모델 지출에 0%를 더합니다.
출처
이 페이지에서 LLM Gateway에 관한 모든 서술은 2026년 10월 19일에 읽은 다음 자료 중 하나에서 나왔습니다. 체험, 벤치마크, 대화에서 추론한 것은 없습니다.
- LLM Gateway docs — Introduction2026년 10월 19일에 읽음
- LLM Gateway docs — Quickstart2026년 10월 19일에 읽음
- LLM Gateway docs — Routing2026년 10월 19일에 읽음
- LLM Gateway docs — Metadata2026년 10월 19일에 읽음
- LLM Gateway docs — Gateway caching2026년 10월 19일에 읽음
- LLM Gateway docs — API keys and IAM2026년 10월 19일에 읽음
- LLM Gateway docs — Provider keys2026년 10월 19일에 읽음
- LLM Gateway docs — Billing2026년 10월 19일에 읽음
- LLM Gateway docs — AI SDK gateway protocol2026년 10월 19일에 읽음
- GitHub — theopenco/llmgateway2026년 10월 19일에 읽음