Loslegen
Compute

Workload

KI-Inferenz

Offene Modelle hinter einer API, die Clients für OpenAI, Claude und Ollama schon sprechen: Chat, Embeddings, Rerank, Bilder und Audio.

Verfügbar

Worum es geht

Inferenz heißt, ein trainiertes Modell auf neue Eingaben anzuwenden: Ein Prompt geht hinein, eine Antwort kommt heraus. Für diesen Teil der KI bezahlen Anwendungen bei jeder Anfrage.

Anfragen sind kurz und zahlreich. Es zählen die Zeit bis zum ersten Token, das Tempo danach und der Preis pro Token.

Was wir heute anbieten

Die Silicon Network API stellt offene Modelle für Chat, Embeddings, Rerank, Sprache zu Text, Text zu Sprache und Bilder bereit. Sie spricht die Formate von OpenAI, Claude Messages und Ollama, also brauchen die meisten Clients nur eine neue Basis-URL und einen Schlüssel.

Anfragen bedienen Betreiber von Silicon Network: unabhängige Menschen und Firmen, die die Engine auf ihren eigenen Macs ausführen. Noch ist kein Mac beigetreten, also kann die API Anfragen erst bedienen, wenn die ersten Betreiber online sind.

Abgerechnet pro Token zu den Preisen auf der Preisseite.

Quellen

Die Arten von Quellen, die diesen Workload ausführen können, jetzt oder später. Ein Anbieter wird erst genannt, wenn er angebunden ist.

  • Betreiber von Silicon Network

    Unabhängige Maschinen, die Betreiber ins Netzwerk einbringen, heute Macs mit der Silicon Network Engine

    Bedient heute

  • Dezentrale Netzwerke

    Offene Netzwerke unabhängiger Maschinen

    Geplant

  • GPU-Clouds und Marktplätze

    Firmen, die GPU-Maschinen vermieten

    Geplant

  • Public Clouds

    Die großen Clouds für alle Zwecke

    Geplant

Externe Quellen würden dieselbe API bedienen, sodass eine Anfrage an die Quelle gehen kann, die zu ihrem Preis und Tempo passt. Noch ist keine angebunden.

Status

Verfügbar: Die API ist live, und die Bedienung beginnt, wenn die ersten Macs beitreten.

Im Auswahlwerkzeug öffnenSchnellstart lesen

Das Auswahlwerkzeug öffnet sich mit KI-Inferenz ausgewählt.

Andere Workloads