Arrakis / Modelos / Llama-3.2-3B-Instruct

Requisitos de GPU de Llama-3.2-3B-Instruct

Llama-3.2-3B-Instruct tiene 3,2B parámetros. Para servirlo, calcula unos 7,7 GB de memoria de GPU en 16 bits, 3,9 GB en 8 bits o 1,9 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.

Desplegar este modelo Comprobar otro modelo

Lo que hace falta para servirlo

La memoria de GPU para ejecutarlo en inferencia, con la configuración de GPU más pequeña que lo sostiene y el precio más bajo en Arrakis ahora mismo.

Precisión	Memoria y configuración mínima
16 bits	7,7 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora
8 bits	3,9 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora
4 bits	1,9 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora

Lo que hace falta para ajustarlo

QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.

Método	Memoria y configuración mínima
QLoRA	2,2 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora
LoRA	7,7 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora
Ajuste fino completo	51 GB: una H100 o A100, la H100 desde 2,07 US$ por GPU-hora

Sobre el modelo

De su ficha y sus archivos en Hugging Face. Las cifras de memoria siguen la guía de memoria de GPU.

Parámetros: 3.2B
Publicado en: BF16
Licencia: llama3.2
Fecha de publicación: 2024-09-18
Pesos: meta-llama/Llama-3.2-3B-Instruct

Despliégalo en Arrakis

Abre Models en la consola, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina. O ejecútalo tú mismo en cualquier máquina con suficiente memoria de GPU:

vLLM

vllm serve meta-llama/Llama-3.2-3B-Instruct --tensor-parallel-size 1

Desplegar este modelo Cómo funciona el despliegue

Preguntas

Los precios en tiempo real de todas las GPU están en la página de precios de GPU.

¿Cuánta memoria de GPU necesita Llama-3.2-3B-Instruct?

Para servirlo, unos 8 GB en 16 bits, 4 GB en 8 bits y 2 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 2 GB con QLoRA, 8 GB con LoRA y 51 GB para un ajuste fino completo con Adam, sin contar las activaciones.

¿Puedo ejecutar Llama-3.2-3B-Instruct en una sola GPU?

Sí. En 16 bits necesita unos 7,7 GB, que caben en una RTX 4090 o RTX 3090.

¿Cuánto cuesta ejecutar Llama-3.2-3B-Instruct?

En 16 bits necesita una RTX 4090 o RTX 3090; en 4 bits, una RTX 4090 o RTX 3090. Cada configuración de esta página muestra el precio más bajo por GPU-hora en Arrakis ahora mismo, y pagas por hora desde un saldo prepago.

¿Cómo despliego Llama-3.2-3B-Instruct en Arrakis?

Abre Models en la consola de Arrakis, pega meta-llama/Llama-3.2-3B-Instruct, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.

Más modelos

Todos los modelos, y una comprobación para cualquier otro.