사용 사례안정성
공급자가 중단되어도 AI 기능은 계속 응답합니다.
이미 가진 공급자 계정 앞에 이름 있는 라우트를 두세요. 응답이 시작되기 전에 타임아웃되거나 실패한 요청은 선택한 다음 대상에서 재시도되며, 클라이언트는 장애가 아니라 하나의 답을 받습니다.
라우트 예시입니다. 클라이언트는 요청 하나를 보내고, 트레이스는 모든 시도를 보관합니다.
문제
컨트롤 플레인 없이
- 공급자 인시던트는 그쪽이 지속되는 동안 제품의 인시던트입니다.
- 폴백 로직이 모든 서비스에 있고 팀마다 다르게 작성되어 있습니다.
- 종료된 모델은 요청이 실패하기 시작할 때 발견됩니다.
INFRO 사용 시
- 라우트는 자체 연결에 걸친 우선순위 또는 가중치 대상을 나열합니다.
- 페일오버는 클라이언트가 오류를 보기 전에 게이트웨이에서 일어납니다.
- 종료는 미리 알리고, 종료일부터는 이름을 밝히며 거부합니다.
작동 방식
이미 비용을 내고 있는 계정을 연결하세요
공급자 두 곳 이상의 자체 키를 추가하거나, 한 공급자의 키와 호스트를 두 개씩 추가하세요. INFRO가 되파는 것은 없으며, 각 공급자는 지금처럼 사용자에게 청구합니다.
라우트 이름 지정
대상을 우선순위나 가중치 순으로 나열하세요. 코드는 모델 ID 대신 라우트 이름을 호출하므로 배포 없이 순서가 바뀝니다.
실패의 의미를 정하세요
실패 규칙은 실패 종류별로 재시도할지, 다음 대상으로 넘어갈지, 중단할지 정하며, if 규칙은 일치하는 요청을 자체 대상으로 보냅니다.
제공되는 것
모두 문서화되어 있으며, 각각 어느 요금제에 포함되는지 명시합니다. 요금제가 명시되지 않은 항목은 모든 요금제에 포함됩니다.
이름 있는 라우트
자체 연결에 대한 우선순위 또는 가중치 대상, 상태 확인, 재시도, 페일오버.
문서첫 바이트 전의 페일오버
응답이 시작되기 전에 타임아웃되거나 5xx를 반환한 대상은 클라이언트가 알지 못하게 다른 곳에서 재시도됩니다.
문서if 규칙과 실패 규칙
메타데이터, 기능, 최종 사용자, 키, 프로젝트, 프롬프트 크기, 스트리밍, 도구, 시간대에 따라 요청을 각자의 대상으로 보냅니다.
문서대체 호스트와 키 분산
연결 하나에 같은 키의 호스트를 여러 개 나열할 수 있으며, 직접 모델 요청은 공급자의 키 전반에 분산되고 대기 키는 마지막에 사용됩니다.
문서모델 종료
종료 예정 모델을 계속 보내는 조직은 경고를 받으며, 종료일부터는 호출 전에 거부되고 교체 모델이 안내됩니다.
문서자체 키로 확보하는 가용성
자체 키가 반환하는 모델 목록을 세 시간마다 읽으며, 목록에서 빠진 모델은 더 이상 제공되지 않습니다.
문서
대상
- 플랫폼 팀저장소마다 폴백 라이브러리를 두는 대신, 모든 서비스가 모든 공급자에 어떻게 닿는지 정의하는 한곳.
- 온콜 엔지니어실패한 시도마다 공급자 자체 메시지가 트레이스에 있으므로, 첫 번째 질문은 페이지를 열기 전에 답이 나옵니다.
- 프로덕트 오너공급자의 나쁜 오후가 더 이상 사용자의 나쁜 오후가 되지 않습니다.
FAQ
페일오버가 선택하지 않은 모델로 전환되나요?
아니요. 라우트는 나열한 대상으로만, 정한 순서나 가중치대로 이동합니다. INFRO가 사용자를 대신해 다른 모델로 응답하는 일은 없습니다.
스트림이 중간에 실패하면 어떻게 되나요?
페일오버는 응답이 시작되기 전에 적용됩니다. 토큰이 클라이언트에 도달한 뒤에는 요청을 다른 곳에서 다시 실행하지 않고, 오류를 반환하며 트레이스에 기록합니다.
공급자 여러 곳에 계정이 있어야 하나요?
도움이 되지만 필수는 아닙니다. 키가 두 개인 공급자 하나, 또는 대체 호스트가 있는 키 하나만으로도 라우트가 갈 곳이 생깁니다. 모든 계정은 계속 사용자 것이며 직접 청구합니다.
전체 계약은 라우트 문서에 있으며, 그 밖의 모든 질문은 FAQ에 있습니다.
실무 가이드
- 실무 가이드Circuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- 실무 가이드Failover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- 실무 가이드September 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.