AI 게이트웨이 비교.

애플리케이션과 그 애플리케이션이 호출하는 AI 모델 공급자 사이에 있는 서비스입니다. 코드는 하나의 엔드포인트로 요청을 보내고, 게이트웨이가 공급자를 고르고, 장애가 나면 재시도하거나 페일오버하며, 각 요청이 무엇을 했고 비용이 얼마였는지 기록하고, 예산, 허용 모델, 속도 제한 같은 정책을 적용합니다. 제품마다 주로 다른 점은 공급자 계정을 누가 갖는지, 정책이 호출 전에 적용되는지 후에 보고되는지, 게이트웨이를 직접 운영하는지 벤더가 운영하는지입니다.

제품에 따라 다르며, 가장 먼저 확인할 부분입니다. 어떤 플랫폼은 사용자가 그곳에 채워 둔 잔액으로 추론을 대신 구매하고, 어떤 플랫폼은 사용자의 공급자 키로 라우팅하면서 그 사용량에 수수료를 붙이기도 하며, 둘 다 제공하는 곳도 있습니다. INFRO는 두 번째 방식만 제공하고 그에 대해 아무것도 받지 않습니다. 공급자가 사용자의 요율로 직접 청구하고, INFRO는 구독료를 청구합니다. 위 표의 비용 주체 열은 각 제품 문서를 저희가 읽은 내용입니다.

요청 경로에 무언가가 있어야 합니다. 한도는 공급자보다 먼저 요청을 볼 수 있어야 거부할 수 있기 때문입니다. 여러 게이트웨이가 이를 지원합니다. INFRO는 호출 전에 조직, 프로젝트, 멤버, 키별로 예산을 확인하고, OpenRouter, Cloudflare AI Gateway, LiteLLM은 각자의 예산이나 지출 한도를 문서화하고 있습니다. Langfuse 같은 관측 도구는 호출 후에 비용을 기록하고 알림을 보낼 수 있어 유용하지만 요청을 막지는 않습니다.

이 페이지의 거의 모든 제품이 요청별 비용을 추정합니다. 이들을 가르는 질문은 추정에 어떤 요율을 쓰는지(벤더의 정가인지, 계약에 명시된 요율인지), 모델에 알려진 가격이 없으면 어떻게 되는지, 그 수치를 공급자 자체 청구서와 대조하는지입니다. INFRO는 Team 요금제부터 협상 요율을 사용하고, 추측하지 않고 요청을 가격 미정으로 표시하며, Business 요금제에서는 그 달의 추정치를 OpenAI와 Anthropic의 비용 API와 대조합니다.

항상 그렇지는 않습니다. 라우팅과 공급자 접근이 이미 해결되어 있고 요청을 거부하는 예산이 필요 없다면, Langfuse 같은 관측 및 평가 도구만으로 충분할 수 있습니다. 라우팅, 페일오버, 강제 예산이 필요하다면 게이트웨이가 필요합니다. 심층 평가와 프롬프트 관리까지 원하는 팀은 둘 다 운영하는 경우가 많고, 이때 게이트웨이가 트레이스를 관측 도구로 내보냅니다.

각 제품의 공개 문서를 각 페이지에 명시된 날짜 기준으로 읽은 내용입니다. 체험이나 벤치마크에서 가져온 것이 아닙니다. 상대 제품이 더 나은 선택일 때는 모든 페이지가 분명히 그렇게 말하고, 경쟁사의 가격은 인용하지 않으며, 문서가 모호한 곳은 단정하지 않고 표시를 완화합니다. 틀린 항목이 있다고 생각되면 알려 주세요. 고치겠습니다.