Casos de usoConfiabilidade
Quando um provedor cai, suas funcionalidades de IA continuam respondendo.
Coloque uma rota nomeada na frente das contas de provedor que você já tem. Uma requisição que dá timeout ou falha antes de a resposta começar é tentada de novo no próximo destino que você escolheu, e o seu cliente vê uma resposta, não uma queda.
Rota de exemplo. Seu cliente envia uma requisição; o trace guarda todas as tentativas.
O problema
Sem um plano de controle
- Um incidente de provedor é um incidente no seu produto, enquanto durar o dele.
- A lógica de fallback vive em cada serviço, escrita de forma diferente por cada equipe.
- Um modelo descontinuado é descoberto quando as requisições dele começam a falhar.
Com o INFRO
- As rotas listam destinos por prioridade ou ponderados entre as suas próprias conexões.
- O failover acontece no gateway, antes de o seu cliente ver um erro.
- As descontinuações são anunciadas com antecedência e recusadas pelo nome a partir da data de desligamento.
Como funciona
Conecte as contas que você já paga
Adicione as suas próprias chaves para dois ou mais provedores, ou duas chaves e hosts para um. Nada é revendido; cada provedor cobra você como hoje.
Dê nome a uma rota
Liste os destinos em ordem de prioridade ou por peso. Seu código chama o nome da rota em vez de um id de modelo, então a ordem muda sem deploy.
Decida o que significa uma falha
As regras de falha escolhem, por tipo de falha, se devem tentar de novo, passar ao próximo destino ou parar, e as regras if enviam as requisições correspondentes aos próprios destinos.
O que você recebe
Cada um é documentado, e cada um diz qual plano o inclui. Quando nenhum plano é citado, está em todos os planos.
Rotas nomeadas
Destinos por prioridade ou ponderados sobre as suas próprias conexões, com verificações de saúde, novas tentativas e failover.
DocumentaçãoFailover antes do primeiro byte
Um destino que dá timeout ou retorna 5xx antes de a resposta começar é tentado de novo em outro lugar, sem que o seu cliente perceba.
DocumentaçãoRegras if e regras de falha
Envie as requisições para os seus próprios destinos por metadados, funcionalidade, usuário final, chave, projeto, tamanho do prompt, streaming, ferramentas ou hora do dia.
DocumentaçãoHosts alternativos e distribuição entre chaves
Uma conexão pode listar mais hosts para a mesma chave; as requisições de modelo direto são distribuídas entre as chaves de um provedor, com as chaves em espera por último.
DocumentaçãoAposentadoria de modelos
As organizações que ainda enviam um modelo em descontinuação são avisadas; a partir da data de desligamento, ele é recusado antes de qualquer chamada, nomeando o substituto.
DocumentaçãoDisponibilidade a partir das suas chaves
A lista de modelos que a sua própria chave retorna é lida a cada três horas, e um modelo que ela deixa de listar deixa de ser oferecido.
Documentação
Para quem é
- Equipes de plataformaUm lugar para definir como cada serviço alcança cada provedor, em vez de uma biblioteca de fallback por repositório.
- Engenheiros de plantãoCada tentativa que falhou no trace, com a mensagem do próprio provedor, para que a primeira pergunta seja respondida antes da página.
- Responsáveis por produtoA tarde ruim de um provedor deixa de ser a tarde ruim dos seus usuários.
Perguntas frequentes
O failover muda para um modelo que não escolhi?
Não. Uma rota passa apenas para os destinos que você listou nela, na ordem ou nos pesos que você definiu. O INFRO nunca responde com um modelo diferente em seu nome.
O que acontece se um stream falha no meio?
O failover se aplica antes de a resposta começar. Depois que os tokens chegaram ao seu cliente, a requisição não é reexecutada em outro lugar; o erro é devolvido e registrado no trace.
Preciso de contas em vários provedores?
Ajuda, mas não é obrigatório: um provedor com duas chaves, ou uma chave com um host alternativo, já dá à rota para onde ir. Toda conta continua sendo sua e cobra você diretamente.
O contrato completo está na Documentação de rotas, e todas as outras perguntas estão no FAQ.
Guias práticos
- Guia práticoCircuit breakers for LLM providers: throttling is not failureThe textbook circuit breaker counts errors. Point it at an LLM provider and the commonest error is a 429 from an account that is working fine. An analysis of what a breaker should count, what it should not, and what to do instead.
- Guia práticoFailover drills: test LLM provider failure before it happensThe failover path is the least-exercised code in most AI applications, and it runs for the first time during an outage. A method for drilling it on purpose: which faults to inject, a mock upstream that injects them, and the assertions that prove recovery happened.
- Guia práticoSeptember 3, 2026: provider incidents and failoverOn 3 September 2026 three AI providers posted incidents within hours of each other. Their own status pages tell a more precise story than the headlines, and it is the story failover has to be designed for.
Começar
Experimente nas suas próprias contas de provedor.
Conecte um provedor, crie uma chave do gateway e mude uma URL base. Seus provedores continuam cobrando você diretamente; 0% de margem sobre os gastos com modelos.