본문으로 건너뛰기

마이그레이션 가이드자체 AI 프록시에서

자체 프록시에서 직접 운영할 필요 없는 컨트롤 플레인으로

많은 팀이 OpenAI와 Anthropic 앞에 작은 서비스를 직접 만들었습니다. 키를 보관하고, 재시도하고, 로그를 남기고, 비용표로 토큰을 세고, 팀별 할당량을 적용합니다. 이 페이지는 각 작업을 INFRO에 대응시키고, 어떤 것이 고객의 코드로 남는지 설명하며, 프록시를 계속 실행하면서 서비스를 하나씩 옮기는 방법을 보여 줍니다.

공급자 앞에 둔 자체 서비스: 키, 재시도, 로깅, 할당량

INFRO 계정은 셀프 서비스입니다. 카탈로그, 문서, API 계약은 공개되어 있고, 게이트웨이는 배포되어 있으며, v1 이후의 기능은 Later로 표시됩니다. 요금제와 체험

현재 상황

이런 프록시가 보통 하는 일

공급자 키 보관, 팀별 내부 키 발급, 재시도와 페일오버, 요청 로깅, 직접 관리하는 표로 토큰 가격 계산, 할당량을 넘은 팀 거부.

유지 비용

누군가는 가격표, 새 모델, 각 공급자의 새 파라미터, 로그 뒤의 데이터베이스, 그리고 프록시 자체의 온콜을 책임져야 합니다.

옮기는 두 가지 방법

대체하기: 서비스가 INFRO를 호출하고 INFRO가 공급자를 호출합니다. 또는 당분간 INFRO 뒤에 두기: 프록시를 openai-compatible 연결로 연결하고 업스트림을 하나씩 옮깁니다.

직접 작성한 프록시는 필요한 일을 정확히 하며, 그것도 가치가 있습니다. 다음 중 하나가 프록시가 존재하는 이유라면 유지하세요.

  • 요청을 바꿉니다: 프롬프트 템플릿, 컨텍스트에 주입하는 검색 결과, 자체 모델을 이용한 PII 정제, 응답 후처리. INFRO의 가드레일은 패턴 규칙과 의사결정 모델 검사이며, 요청 경로에서 고객의 코드를 실행하지 않습니다.
  • 고객의 네트워크나 지정된 리전 안에서 실행되어야 합니다. INFRO 요금제는 Cloudflare 네트워크에서 호스팅되며, 자체 호스팅 또는 하이브리드 배포는 엔터프라이즈 계약입니다.
  • 내부 GPU에 호스팅한 가중치처럼 어떤 공급자 API도 제공하지 않는 모델만 제공합니다. INFRO는 그 서버를 openai-compatible 연결로 라우팅할 수 있지만, 서버는 고객의 것으로 남습니다.
  • 작고, 소유자가 분명하며, 아무도 예산, 배분, 페일오버를 요구하지 않습니다. 그렇다면 게이트웨이는 끝에 얻을 것이 없는 마이그레이션입니다.

수정 사항을 한 행에 하나씩 정리했습니다. 여기에 없는 것은 그대로 유지됩니다.

 고객의 프록시INFRO
베이스 URL프록시의 내부 호스트.https://api.infro.io/v1(OpenAI 형식), /v1/messages(Anthropic 형식), /v1/responses(OpenAI Responses).
키프록시가 팀이나 서비스마다 발급한 내부 키.서비스마다 INFRO 게이트웨이 키 하나. 각 키에 모델 허용 목록, 공급자 목록, IP 범위, 환경, 지출 한도가 있습니다.
모델 ID프록시가 정의한 별칭.vendor/model 또는 라우트 이름. 라우트는 콘솔에서 편집하는, 연결의 순서 있는 목록으로 확인되는 별칭입니다.
헤더자체 팀, 사용자, 기능 헤더.X-INFRO-Feature, X-INFRO-User-Id, X-INFRO-Trace-Id, 또는 본문의 metadata.user_id, metadata.session_id, metadata.tags.

이전 · 고객의 프록시

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm-proxy.internal.example.com/v1",
  apiKey: process.env.LLM_PROXY_KEY,
  defaultHeaders: { "X-Team": "search" },
});

await client.chat.completions.create({
  model: "default-chat",
  messages: [{ role: "user", content: "Hello" }],
});

이후 · INFRO

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.infro.io/v1",
  apiKey: process.env.INFRO_API_KEY, // one key per service
  defaultHeaders: { "X-INFRO-Feature": "search" },
});

await client.chat.completions.create({
  model: "default-chat", // a route with the same name
  messages: [{ role: "user", content: "Hello" }],
});

별칭 유지

프록시가 정의한 별칭마다 같은 이름의 라우트를 만들면, 서비스는 같은 model을 계속 보냅니다. 키를 이름 있는 라우트에 고정하면 모델을 직접 호출할 수 없습니다.

서비스를 하나씩 옮기기

프록시 자체를 openai-compatible 연결로 연결하고 라우트 대상으로 추가하세요. 서비스가 먼저 INFRO로 전환하고, 업스트림은 나중에 프록시에서 직접 연결로 옮깁니다.

팀은 프로젝트가 됩니다

팀별 할당량은 프로젝트 예산과 키별 지출 한도가 됩니다. 멤버를 담당 프로젝트로 제한할 수 있습니다.

현재 설정이 하는 일을 INFRO와 대조하고, 게이트웨이가 구현한 내용과 비교해 확인했습니다. INFRO에 없다고 표시된 행이 1개입니다.

고객의 프록시그곳에서 하는 일INFRO에서
키 보관소같은 구조프록시 구성이나 시크릿 저장소의 공급자 키.저장 시 봉인되는 공급자 연결. 공급자마다 여러 키, 대기 키는 마지막 순서.
내부 키같은 구조프록시가 팀이나 서비스마다 발급하는 키.모델 허용 목록, 공급자 목록, IP 범위, 환경, 지출 한도, 교체, 끄기 스위치를 갖춘 게이트웨이 키.
재시도와 폴백같은 구조프록시 안의 코드.우선순위 또는 가중치 대상, 요청에 대한 if 규칙, 유형별 실패 규칙(429, 5xx, 타임아웃, 연결, 자격 증명, 모더레이션)을 갖춘 라우트.
할당량같은 구조팀별 토큰 또는 달러 카운터.조직, 프로젝트, 멤버, 키, 최종 고객별로 상한에서 402로 거부하는 예산. 동시 실행에서도 유지됩니다.
가격표다름직접 관리하는 토큰당 가격표.INFRO 카탈로그의 벤더 정가, 입력한 경우 협상 요금, 둘 다 모르면 0이 아니라 unpriced.
요청 로그다름고객 자체 데이터베이스의 행.콘솔의 요청 로그와 트레이스, GET /v1/requests, 내보내기, OpenTelemetry 수집기로 보내는 스팬. 프롬프트 수집은 켜기 전까지 꺼져 있습니다.
프롬프트 및 응답 변환해당 없음자체 로직을 이용한 템플릿, 검색, 정제.제공하지 않습니다. 가드레일은 패턴과 의사결정 모델 검사로 차단, 마스킹, 표시를 합니다. INFRO는 고객의 코드를 실행하지 않습니다.
자체 호스팅 모델다름프록시 뒤의 vLLM, TGI, Ollama.해당 서버에 대한 openai-compatible 연결로, 다른 공급자처럼 라우팅됩니다. 서버 운영은 계속 고객의 몫입니다.
직접 운영하기다름배포한 곳에서 실행됩니다.호스팅형. 자체 호스팅 또는 하이브리드 배포는 요금제가 아니라 엔터프라이즈 계약입니다.Enterprise — 셀프 서비스가 아닌 엔터프라이즈 계약으로 제공됩니다.

INFRO가 하지 않는 것

  • 요청 경로에서 고객의 코드 실행: 프롬프트 템플릿, 검색, 맞춤 변환.
  • Batch, Files, 파인튜닝, Realtime, 또는 OpenAI, Azure OpenAI, Mistral, OpenAI 호환 엔드포인트 외 공급자의 임베딩.
  • 리전 고정. 데이터 상주는 로드맵에 있고 현재 제공되지 않습니다.
  • 엔터프라이즈 계약 없는 자체 호스팅 배포.

이어지지 않는 것

  • 프록시의 로그. 가져오기 도구는 없으므로 지금 있는 곳에 보관하세요.
  • 프록시의 가격표. 대신 콘솔에 협상 요금을 입력하세요. 정가는 카탈로그에서 가져옵니다.
  • 맞춤 변환. INFRO 호출 전, 고객의 코드에 남습니다.

질문

기존 프록시 앞에 INFRO를 둘 수 있나요?
네. 프록시를 base URL과 키로 openai-compatible 연결로 연결하고, 업스트림을 옮기는 동안 다른 공급자처럼 라우팅하세요.
공급자 계약이 바뀌나요?
아니요. 보유한 공급자 계정을 연결하며, 공급자는 계속 고객의 요금으로 직접 청구합니다. INFRO는 모델 지출에 0% 가산인 구독입니다.
저희 코드로 남는 것은 무엇인가요?
프롬프트나 응답을 바꾸는 모든 것: 템플릿, 검색, 맞춤 정제, 후처리.

저희와 함께, 또는 직접 옮기세요

마이그레이션 프로그램에서는 통화로 자체 AI 프록시 설정을 INFRO 연결, 라우트, 예산에 매핑하고 첫 서비스를 함께 옮깁니다. 공급자는 계속 고객에게 직접 청구하며, INFRO는 구독이고 모델 지출에 0%를 더합니다.

14일 체험 시작 마이그레이션 세션 예약빠른 시작 읽기

출처

이 페이지의 SDK 동작은 2026년 10월 19일에 읽은 다음 자료에서 나왔습니다.