コンテンツへスキップ

AIプロダクトが、AIの周りのインフラまで抱える必要はありません。

AI SaaSを出荷する個人開発者でも、数百万件のリクエストを処理するチームでも、INFROはモデルの周りのインフラに居場所を提供します。すでにお持ちのプロバイダーアカウントをまたぐひとつのAPI、ルーティングと再試行の処理、そしてすべての呼び出しを推定費用とともに記録。プロバイダーの請求額への上乗せは0%です。

INFROのアカウントはセルフサービスで作成できます。 カタログ、ドキュメント、API仕様は公開済みで、ゲートウェイもデプロイ済みです。v1以降の機能には「今後提供」と表示しています。 プランとトライアル

課題

インフラの課題は、毎回同じです。

エージェント、動画ツール、SEOプロダクト、営業アシスタント。プロダクトの見た目はまったく違っても、その下の仕組みはほぼ同じになります。プロバイダー、ルーティング、再試行、レイテンシー、使用量、コスト、予算、信頼性。INFROは、それらをコードベースの外に置く場所を提供します。

どれも機能を出荷するものではありません。すべて自分で保守することになり、インシデントのたびに積み重なっていきます。

レイヤーがなければ、アプリが抱えるもの
  • プロバイダーごとにアカウントとキーがあり、それぞれリクエストの形式が違う
  • 再試行、タイムアウト、そしてレート制限への何らかの対処
  • モデルごとのコスト計算と、すぐ古くなるスプレッドシート
  • 誰も説明できなかった最初のインシデントの後に追加したログ記録

どれも、その日の判断としては妥当なものでした。

得られるもの

4つのこと。どれも、そうでなければ自分で行う作業です。

  • プロバイダーごとではなく、ひとつの統合

    テキストはOpenAIのリクエスト形式を使うため、既存のクライアントは新しいベースURLを指定するだけです。画像、動画、音声は、モデルごとに別のSDKを使う代わりに、すべてのモデルでひとつのINFRO形式を使います。

  • プロバイダーの選択がコードに影響しなくなる

    モデルの追加、ワークロードの移動、スタンバイの設定は、デプロイではなくこのレイヤーでの変更です。各レスポンスには処理したプロバイダーと接続が明記されるため、何も隠されません。

  • すべてのリクエストを費用とともに記録

    モデル、ルート、レイテンシー、トークンまたは単位、推定プロバイダー費用。プロジェクト、キー、または自社のエンドユーザーごとに配分できます。利益率を聞かれたときに必要なのはこの数字です。

  • メールで知らせるのではなく、止める上限

    暴走したループや不適切なプロンプトは、そのまま請求になります。プロジェクトごとまたはキーごとの支出上限をブロックに設定すると、事後に知らせるのではなく、上限に達した時点でプロバイダーを呼び出す前にリクエストを拒否します。

製品

すべてのリクエストには、プロバイダーがそのリクエストに対して請求する金額の見積もりが付き、プロジェクト、キー、顧客、機能ごとに配分されます。見積もりはベンダーの公開料金に基づくか、Teamプランで交渉済みの料金を入力すればその料金に基づきます。

リクエスト

4件のリクエスト · 直近15分

時間プロジェクトプロバイダーステータスレイテンシー推定費用
処理済み
4中3
フォールバックで復旧
1
プロバイダーの前で拒否
1
推定プロバイダー費用
$0.0100

リクエストを選ぶと、すべての試行、そのレイテンシーと推定費用が表示されます。

使用量が増えると、モデル利用料は機能のコストではなくプロダクトの経済性そのものになり、プロバイダーごとの月間合計では答えになりません。このレイヤーを下に置くべきなのは、その数字が説明を要するほど大きくなる前です。

導入

プロダクトがすでにテキスト用にOpenAI互換APIを呼び出しているなら、クライアントとリクエストのコードはそのままで、3つの値を変えるだけです。

APIキー
INFROゲートウェイキー。プロバイダーの認証情報はINFROの中に封印されたままです。
ベースURL
https://api.infro.io/v1
モデル
vendor/modelのID、または設定したルート。

レスポンスはOpenAIの形式のままです。INFRO自身の拒否には専用のエラーコードがあります。

app.py+3−2
import osfrom openai import OpenAI client = OpenAI(削除:    api_key=os.environ["OPENAI_API_KEY"],追加:    api_key=os.environ["INFRO_API_KEY"],追加:    base_url="https://api.infro.io/v1",) response = client.chat.completions.create(削除:    model="gpt-5.6-terra",追加:    model="openai/gpt-5.6-terra",    messages=messages,)

質問

それぞれ1行で答えています。手間をかける必要がないという答えのものも含みます。

何かを書き直す必要がありますか?
テキストなら不要です。ベースURL、キー、モデル文字列だけです。クライアントライブラリ、リクエスト本文、レスポンスの解析、エラー処理はそのままです。
この規模でも関係ありますか?
役に立つのは、2つ目のプロバイダー、最初のインシデント、あるいは誰も説明できない最初の請求書のときです。1つのベンダーの1つのモデルを少額で使っているだけなら、直接接続してください。評価の時間を無駄にさせるより、そうお伝えします。
すべてを移行する必要がありますか?
いいえ。1つのエンドポイントの接続先を変え、残りはそのままにして比較してください。離れるときは同じ変更を元に戻すだけです。
費用は増えますか?
プロバイダーは引き続きお客様自身の料金で請求し、INFROの取り分は0%です。INFROにお支払いいただくのは、料金ページに公開しているコントロールプレーンの定額サブスクリプションです。月額$35からの4つのプランがあり、それぞれ14日間のトライアル付きです。INFROが販売するものにトークン単位の価格はないため、プロンプトが長くなってもモデルが高くなっても変わりません。プランはリクエスト量に応じて上がりますが、どの段階もお客様が選ぶ公開価格です。
誰かと話す前に見ることはできますか?
プロバイダーページには接続できるすべてのプロバイダーが、ドキュメントにはAPIの仕様のすべてが、料金ページにはすべてのプランが載っています。コンソール自体にはアカウントが必要で、ご自身で作成できますが、このページのそれ以外の内容は、話をしなくても確認できます。

始める

AIプロダクトを開発中ですか?INFROをスタックに入れましょう。

一度接続すれば、ワークロードに応じてルーティング、可視化、支出管理を追加できます。