So funktioniert es
Eine Anfrage oder ein Job kommt über eine Schnittstelle herein. Dahinter stehen mehrere Arten von Quellen. Heute ist ein Weg live: KI-Inferenz, bedient von den Macs der Betreiber.
Schritt für Schritt
- 1
Du sendest eine Anfrage oder beschreibst einen Job
Für KI-Inferenz ist das ein API-Aufruf im Format von OpenAI, Claude Messages oder Ollama. Für die anderen Workloads wählst du im Auswahlwerkzeug; bestellen lässt sich dort noch nichts.
- 2
Die Schnittstelle lässt sie zu
Das Gateway prüft den Schlüssel, seine Limits und das Guthaben, bevor eine Maschine die Anfrage sieht.
- 3
Das Routing wählt eine Quelle
Für Inferenz schickt das Gateway die Anfrage an den Mac eines Betreibers, der das Modell geladen hat. Geplante Quellen würden nach der gewählten Priorität ausgesucht: Preis, Tempo oder beides.
- 4
Die Antwort wird geprüft
Im Inferenz-Netzwerk kann das Gateway eine Stichprobe von Anfragen auf einem vertrauenswürdigen Node erneut ausführen, bekannte Prompts senden und die Antworten vergleichen, und die Nodes signieren, was sie ausliefern. Diese Prüfungen sind gebaut und werden eingeschaltet, bevor Betreiber außerhalb des Teams bedienen. Für die Maschinen eines angebundenen Anbieters würden dessen eigene Bedingungen und Prüfungen gelten.
- 5
Die Nutzung wird gemessen und abgerechnet
Das Gateway zählt die Tokens jeder Anfrage, und die Control Plane bucht sie zu den veröffentlichten Preisen von deinem Guthaben ab. Auf Wunsch gibt es eine signierte Quittung.
Was live ist
KI-Inferenz über die API ist live, und die Bedienung beginnt, wenn die ersten Macs beitreten. Keine externe Quelle ist angebunden, und kein anderer Workload ist verfügbar.