Arrakis / Guías / Memoria de GPU
¿Cuánta memoria de GPU necesita tu modelo?
Cuenta los bytes por parámetro. Servir un modelo necesita 2 bytes por parámetro en 16 bits, 1 en 8 bits y medio byte en 4 bits, más un 20 % aproximadamente para la caché KV y las activaciones. El ajuste fino necesita mucho más: unos 16 bytes por parámetro con Adam, salvo que LoRA o QLoRA congelen el modelo base.
Servir un modelo
Memoria para ejecutar un modelo en inferencia, con la configuración de GPU más pequeña en la que cabe y el precio más bajo en Arrakis en este momento.
| Tamaño del modelo | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8BLlama 3.1 8B | 19 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 9,6 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 4,8 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| 14BQwen2.5 14B | 34 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora | 17 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 8,4 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| 32BQwen2.5 32B | 77 GB: una H100 o A100, la H100 desde 1,65 US$ por GPU-hora | 38 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora | 19 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| 70BLlama 3.3 70B | 168 GB: una B200, desde 6,79 US$ por GPU-hora | 84 GB: una RTX PRO 6000, desde 1,90 US$ por GPU-hora | 42 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora |
| 405BLlama 3.1 405B | 972 GB: 4 × B300, desde 18,40 US$ por hora las 4 | 486 GB: 2 × B300, desde 9,20 US$ por hora las 2 | 243 GB: una B300, desde 4,60 US$ por GPU-hora |
Ajuste fino de un modelo
QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.
| Tamaño del modelo | QLoRA | LoRA | Ajuste fino completo |
|---|---|---|---|
| 8BLlama 3.1 8B | 5,6 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 19 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 128 GB: una H200, desde 4,03 US$ por GPU-hora |
| 14BQwen2.5 14B | 9,8 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 34 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora | 224 GB: una B300, desde 4,60 US$ por GPU-hora |
| 32BQwen2.5 32B | 22 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora | 77 GB: una H100 o A100, la H100 desde 1,65 US$ por GPU-hora | 512 GB: 2 × B300, desde 9,20 US$ por hora las 2 |
| 70BLlama 3.3 70B | 49 GB: una H100 o A100, la H100 desde 1,65 US$ por GPU-hora | 168 GB: una B200, desde 6,79 US$ por GPU-hora | 1.120 GB: 8 × H200, desde 32,24 US$ por hora las 8 |
| 405BLlama 3.1 405B | 284 GB: 4 × H100, desde 6,60 US$ por hora las 4 | 972 GB: 4 × B300, desde 18,40 US$ por hora las 4 | 6.480 GB: más de una máquina de 8 GPU |
Las reglas detrás de las cifras
Reglas generales, lo bastante precisas para elegir una GPU. Mide antes de una ejecución larga.
- Pesos
- Número de parámetros multiplicado por los bytes por parámetro: 2 en 16 bits (BF16 o FP16), 1 en 8 bits (FP8 o INT8) y 0,5 en 4 bits.
- Margen para servir
- Un 20 % más, aproximadamente, para la caché KV y las activaciones con un contexto y un lote moderados. Los contextos largos y los lotes grandes necesitan más.
- Ajuste fino completo
- Unos 16 bytes por parámetro con Adam de precisión mixta: pesos, gradientes, estados del optimizador y una copia maestra de 32 bits (ZeRO, arXiv:1910.02054). Repártelo entre varias GPU con FSDP o ZeRO.
- LoRA
- El modelo base de 16 bits se queda congelado y se entrenan pequeños adaptadores. Calcula los pesos más un 20 % aproximadamente.
- QLoRA
- El modelo base congelado se guarda en 4 bits. Sus autores hicieron ajuste fino de un modelo de 65B en una sola GPU de 48 GB (QLoRA, arXiv:2305.14314), unos 0,7 bytes por parámetro.
- Memoria de GPU
- Según las páginas de NVIDIA de cada GPU, enlazadas desde su página aquí.
Preguntas
Los precios en tiempo real de todas las GPU están en la página de precios de GPU.
¿Cuánta memoria de GPU necesita un modelo de 70B?
Para servirlo, unos 168 GB en 16 bits, 84 GB en 8 bits y 42 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 49 GB con QLoRA, 168 GB con LoRA y 1.120 GB para un ajuste fino completo con Adam, sin contar las activaciones.
¿Puedo ejecutar un modelo de 70B en una sola GPU?
Sí. Necesita unos 168 GB en 16 bits, que caben en una B200; unos 84 GB en 8 bits, que caben en una RTX PRO 6000, y unos 42 GB en 4 bits, que caben en una L40S, RTX 6000 Ada o RTX A6000.
¿Puedo hacer ajuste fino de un modelo de 8B en una RTX 4090?
Sí, con LoRA (unos 19 GB) o QLoRA (unos 6 GB), que caben en los 24 GB de la RTX 4090. El ajuste fino completo necesita unos 128 GB sin contar las activaciones, es decir, una H200.
¿Por qué el ajuste fino necesita mucha más memoria que servir un modelo?
El ajuste fino completo guarda los pesos y gradientes de 16 bits, además de los estados del optimizador Adam de 32 bits y una copia maestra de 32 bits de los pesos: unos 16 bytes por parámetro (Rajbhandari et al., ZeRO, arXiv:1910.02054). LoRA congela los pesos base y entrena pequeños adaptadores; QLoRA además guarda los pesos congelados en 4 bits, lo que permitió a sus autores hacer ajuste fino de un modelo de 65B en una sola GPU de 48 GB (Dettmers et al., arXiv:2305.14314).
¿Cuánto cuesta alquilar las GPU de estas tablas?
Cada sugerencia muestra el precio más bajo por GPU-hora en Arrakis en este momento. A fecha de 31 oct 2026, 17:40 UTC, Arrakis ofrece 687 GPU en 200 máquinas. El precio más bajo de la H100 es 1,65 US$ por GPU-hora, y el de la RTX 4090, 0,41 US$ por GPU-hora. Pagas el precio por hora que se muestra al alquilar, desde un saldo prepago.