仕組み
リクエストやジョブは、ひとつのインターフェースから入ります。その先には複数の種類の提供元があります。現在稼働しているのは、オペレーターの Mac が処理する AI 推論の経路だけです。
手順
- 1
リクエストを送る、またはジョブを記述する
AI 推論では、OpenAI、Claude Messages、Ollama の形式で API を呼び出します。そのほかのワークロードはコンピュート選択画面で選びますが、現時点ではまだ注文できません。
- 2
インターフェースが受け付ける
どのマシンもリクエストを目にする前に、ゲートウェイがキー、その制限、残高を確認します。
- 3
ルーティングが提供元を選ぶ
推論では、ゲートウェイがモデルを読み込み済みのオペレーターの Mac にリクエストを送ります。計画中の提供元は、価格、速度、またはその両方など、選んだ優先度で選ばれる予定です。
- 4
回答を確認する
推論ネットワークでは、ゲートウェイがリクエストの一部を信頼できるノードで再実行したり、既知のプロンプトを送って回答を比較したりできます。ノードは提供した内容に署名します。これらの確認機能は構築済みで、チーム外のオペレーターが提供を始める前に有効になります。接続されたプロバイダーのマシンは、そのプロバイダー自身の規約と確認の対象になります。
- 5
使用量を計測して課金する
ゲートウェイが各リクエストのトークンを数え、コントロールプレーンが公開料金であなたの残高に課金します。署名付きの領収書は、リクエストに応じて取得できます。
稼働中のもの
API による AI 推論は稼働しており、最初の Mac が参加した時点から提供が始まります。外部の提供元は接続されておらず、ほかのワークロードも利用できません。