Modelos
Modelo
Llama 3.1 70B
llama-3.1-70b
Llama 3.1 70B (llama-3.1-70b) en Silicon Network: 131.072 tokens de contexto. Capacidades: Texto.
| Id del modelo en la API | llama-3.1-70b |
|---|---|
| Modelo base | Llama 3.1 70B |
| Familia | Llama |
| Parámetros | 70B |
| Tamaño | Grande (de 40B a 200B) |
| Longitud de contexto | 131.072 tokens (128K) |
| Capacidades | Texto |
| Pesos servidos | 4 bits |
| Tamaño de los pesos | 40,7 GB |
| Precio de entrada | No disponible |
| Precio de salida | No disponible |
Ahora mismo no se han podido cargar las tarifas publicadas. La página de precios las consulta en directo.
Cómo llamarlo
El id del modelo es llama-3.1-70b. Funciona con cualquier cliente compatible con OpenAI si fijas la URL base en https://api.siliconnetwork.io/v1; el inicio rápido explica las claves y los demás formatos.
curl https://api.siliconnetwork.io/v1/chat/completions \
-H "Authorization: Bearer $SILICON_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "llama-3.1-70b", "messages": [{"role": "user", "content": "Hello"}]}'Qué modelos están cargados en un nodo cambia a lo largo del día; la página de precios lo muestra en directo. Un modelo que no está cargado responde con un 404 hasta que un operador lo carga.
Comparado con
Sobre estas cifras
La longitud de contexto, las capacidades y el tamaño de los pesos salen de la ficha del modelo con la que se sirve cada id. Las tarifas son los precios por token publicados y se actualizan cada pocos minutos. Aquí no hay cifras de velocidad: la red todavía no publica el rendimiento por modelo.