Modelos
Comparativa
Llama 3.2 3B vs Llama 3.1 8B
Llama 3.2 3B y Llama 3.1 8B frente a frente en Silicon Network: longitud de contexto, capacidades, parámetros y el precio por token de cada uno.
| Llama 3.2 3B | Llama 3.1 8B | |
|---|---|---|
| Id del modelo en la API | llama-3.2-3b | llama-3.1-8b |
| Modelo base | Llama 3.2 3B | Llama 3.1 8B |
| Familia | Llama | Llama |
| Parámetros | 3B | 8B |
| Tamaño | Pequeño (menos de 6B) | Mediano (de 6B a 40B) |
| Longitud de contexto | 131.072 tokens (128K) | 131.072 tokens (128K) |
| Capacidades | Texto | Texto |
| Pesos servidos | 4 bits | 4 bits |
| Tamaño de los pesos | 1,86 GB | 4,64 GB |
| Precio de entrada | No disponible | No disponible |
| Precio de salida | No disponible | No disponible |
Ahora mismo no se han podido cargar las tarifas publicadas. La página de precios las consulta en directo.
Diferencias
- Los dos tienen una ventana de contexto de 131.072 tokens.
- Llama 3.1 8B es el modelo más grande en parámetros totales: 8B frente a 3B.
- Los dos tienen las mismas capacidades: Texto.
Qué modelos están cargados en un nodo cambia a lo largo del día; la página de precios lo muestra en directo. Un modelo que no está cargado responde con un 404 hasta que un operador lo carga.
Sobre estas cifras
La longitud de contexto, las capacidades y el tamaño de los pesos salen de la ficha del modelo con la que se sirve cada id. Las tarifas son los precios por token publicados y se actualizan cada pocos minutos. Aquí no hay cifras de velocidad: la red todavía no publica el rendimiento por modelo.