支出を止める予算
しきい値でアラートを出すか、プロバイダーを呼び出す前に上限でブロックします。
- A. Keller60%
- M. Okafor66%
- S. Lindqvist60%
- J. Barros27%
ロール、予算、モデルポリシー、すべてのリクエストのコストを、すでにお持ちのプロバイダー契約の上で。
INFROのアカウントはセルフサービスで作成できます。 カタログ、ドキュメント、API仕様は公開済みで、ゲートウェイもデプロイ済みです。v1以降の機能には「今後提供」と表示しています。 プランとトライアル
課題
6つのチーム、6つのプロバイダーアカウント、6通りのログ記録。その下にひとつのレイヤーを置けば、各チームはスピードを保てます。
コントロールプレーンがない場合
INFROがある場合
制御
リクエストがプロバイダーに届く前に、ゲートウェイで適用されます。
しきい値でアラートを出すか、プロバイダーを呼び出す前に上限でブロックします。
組織、プロジェクト、キーごとにモデルを承認します。
→ 403 model_not_allowed
プロジェクト、キー、または付与したエンドユーザーIDごと。
キーは1つのプロジェクトに限定されるため、影響範囲は1つのプロジェクトにとどまります。
シングルサインオンとディレクトリプロビジョニング。
Businessプランから利用可能。新機能:顧客のIDプロバイダーで本番の往復を完了した例はまだないため、最初の導入はお客様と一緒に計画します。
慣習ではなく、データベースで追記専用。
継続性
ルートは、レスポンスが始まる前に、再試行可能な失敗をお客様の別の接続で再試行します。
ここに作り上げた稼働率の数字はありません。契約には、救済措置付きの可用性の確約が含まれます。
Enterprise — セルフサービスではなく、Enterprise契約で提供します。キー、ベースURL、モデルIDを元に戻します。リクエストと使用量の履歴はAPIでエクスポートできます。
契約
ソフトウェアとその条件。モデル利用料を誰が請求するかは変わりません。
上限
4週目より今のうちに知っておくほうが良いでしょう。
よくある質問
1つの組織の下にプロジェクトと環境を置いて共有します。ロール(オーナー、管理者、開発者、アナリスト)を付けてメンバーを招待し、メンバーとプロジェクトごとに支出上限を設定し、各プロジェクトが呼び出せるモデルを制限し、誰が何を変更したかを監査ログで確認できます。各チームが専用のキー、予算、モデルポリシーを持つため、あるプロジェクトの暴走したワークロードが他チームの割り当てを使い込むことはなく、組織はすべてを1つのビューで把握できます。Businessプランからは、SAMLまたはOIDCで自社のIDプロバイダーからサインインでき、ディレクトリからSCIMでINFROのメンバーシップを作成・無効化できます。
それが設計の前提です。すでにお持ちのプロバイダーアカウントを接続するので、交渉済みの料金、支出コミットメント、割引、クォータ、エンタープライズ契約は今とまったく同じように適用され続けます。プロバイダーがお客様の価格でお客様に請求し、INFROはそこから何も受け取りません。公開価格より低い料金を交渉済みであれば、Teamプラン以上ではコンソールに入力でき、INFROが表示するすべての費用は定価ではなくその料金から計算されます。やめるときも導入時と同じ2行です。ベースURLとキーを元に戻すだけで、プロバイダーアカウントは最初からお客様のものなので、何も影響を受けません。
依存先が1つ増えます。それがこの選択の正直なコストであり、考慮に入れるべきです。これを乗り切れるものにする仕組みが3つあります。ステータスページはゲートウェイとは別の、はるかにシンプルなデプロイで動いており、お客様自身のブラウザーからゲートウェイを確認します。テキストはOpenAIの形式に対応しているので、直接のプロバイダーキーとベースURLの切り替えを設定に残しておくことは、2行で済む備えであり、私たちも積極的に推奨しています。そして、公開しているアップタイムSLAはありません。運用実績のないサービスが誠実にSLAを提示することはできないためです。エンタープライズ契約には契約上のSLAを盛り込めます。
はい。戻るときの移行も、導入時と同じ2行です。リクエストと利用の履歴は公開APIで取得するか、リクエストログとAnalyticsからCSVでダウンロードし、プランの照会可能な履歴期間を過ぎる前に自社のシステムに保存してください。定期的なエクスポートやメールでのエクスポートはありません。
お客様のプロンプト、入力、出力を学習に使うことはなく、販売することもありません。利用メタデータは、プラットフォームの計測、費用の見積もり、ガバナンスに使われます。プロンプトとレスポンスのログ記録(任意)は既定でオフで、プランの範囲に限られます。配信に必要なジョブの記録と生成されたメディアは別に扱われます。AIプロバイダーによるデータの利用と保持の設定は、引き続きお客様とプロバイダーとの契約に従います。
まだです。そうでないと主張することもしません。地域内での処理には、まだ購入していないインフラの利用権が必要です。ヨーロッパ風に見えるだけのホスト名は、顧客が1回のリクエストで反証できるコンプライアンス上の主張です。実際に適用できるようになったらお知らせします。それまでは、リクエストは処理能力のある場所で処理されるものとお考えください。データの所在に依存する契約を結ぶ前に、ご相談いただく理由としてお受け止めください。
いいえ。スライドでそうでないかのように示すこともしません。その代わりに、約束ではなく公開しているものが /trust にあります。監査法人と契約済みで観察期間は未定のSOC 2ロードマップ、評価中で日付を確約していないISO 27001、現在適用している統制と未適用の統制、そして標準的なセキュリティ質問票への回答を、私たちと話さずにダウンロードできる文書として公開しています。標準契約条項を含むDPA、サブプロセッサー一覧、利用規定も全文を公開しています。それでも独自の質問票はお送りください。答えが「未対応」の質問も含め、すべてに回答します。認証が必須条件であれば、最初にお知らせください。現時点では満たせないことを率直にお伝えします。
インフラベンダーは /subprocessors に掲載しており、通知期間と緊急時の例外もそこで説明しています。接続するAIプロバイダーは、お客様が選び、直接契約します。リクエストのトレースには試行した接続が記録されます。プロバイダーによるデータの利用と保持は、お客様自身の契約とアカウント設定に従います。
はい、エンタープライズ契約であれば可能です。サブスクリプションはカードへの請求ではなく、お客様の条件で四半期ごとまたは年ごとに請求書で請求されます。これはソフトウェアのみの請求書です。モデル利用料は、すでにお持ちの条件でお客様自身のプロバイダーから請求され、INFROとのどのような取り決めでもそれが変わったり、INFROの請求書に載ったりすることはありません。
回答の一覧では、レイテンシー、料金の仕組み、プロバイダーの障害を扱っています。
お問い合わせ
現在チームで何を運用しているか教えてください。エンジニアがメールで回答し、INFROが合わない点もはっきりお伝えします。
特定のワークロードの数字が必要ですか?ワークロードの見積もりを依頼してください。またはsales@infro.ioまでご連絡ください。