Modelle
Modell
Llama 3.1 70B
llama-3.1-70b
Llama 3.1 70B (llama-3.1-70b) auf Silicon Network: 131.072 Tokens Kontext. Fähigkeiten: Text.
| Modell-ID in der API | llama-3.1-70b |
|---|---|
| Basismodell | Llama 3.1 70B |
| Familie | Llama |
| Parameter | 70B |
| Größenklasse | Groß (40B bis 200B) |
| Kontextlänge | 131.072 Tokens (128K) |
| Fähigkeiten | Text |
| Bereitgestellte Gewichte | 4 Bit |
| Größe der Gewichte | 40,7 GB |
| Preis Eingabe | Nicht verfügbar |
| Preis Ausgabe | Nicht verfügbar |
Die veröffentlichten Preise ließen sich gerade nicht laden. Die Preisseite liest sie live.
Aufrufen
Die Modell-ID lautet llama-3.1-70b. Jeder OpenAI-kompatible Client funktioniert, wenn die Basis-URL auf https://api.siliconnetwork.io/v1 steht; der Schnellstart erklärt Schlüssel und die anderen Formate.
curl https://api.siliconnetwork.io/v1/chat/completions \
-H "Authorization: Bearer $SILICON_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "llama-3.1-70b", "messages": [{"role": "user", "content": "Hello"}]}'Welche Modelle gerade auf einem Node geladen sind, ändert sich im Laufe des Tages; die Preisseite zeigt es live. Ein Modell, das nicht geladen ist, antwortet mit 404, bis ein Betreiber es lädt.
Verglichen mit
Zu diesen Angaben
Kontextlänge, Fähigkeiten und Größe der Gewichte stammen aus der Modellkarte, mit der die jeweilige ID bereitgestellt wird. Die Preise sind die veröffentlichten Preise pro Token und werden alle paar Minuten aktualisiert. Geschwindigkeitswerte gibt es hier nicht: Das Netzwerk veröffentlicht den Durchsatz pro Modell noch nicht.