# ¿Cuánta memoria de GPU necesita tu modelo?

Cuenta los bytes por parámetro. Servir un modelo necesita 2 bytes por parámetro en 16 bits, 1 en 8 bits y medio byte en 4 bits, más un 20 % aproximadamente para la caché KV y las activaciones. El ajuste fino necesita mucho más: unos 16 bytes por parámetro con Adam, salvo que LoRA o QLoRA congelen el modelo base.

## Servir un modelo

| Tamaño del modelo | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 9,6 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 4,8 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| 14B (Qwen2.5 14B) | 34 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora | 17 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 8,4 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| 32B (Qwen2.5 32B) | 77 GB: una [H100](/es/gpus/h100.html.md) o [A100](/es/gpus/a100.html.md), la H100 desde 1,65 US$ por GPU-hora | 38 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora | 19 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| 70B (Llama 3.3 70B) | 168 GB: una [B200](/es/gpus/b200.html.md), desde 6,79 US$ por GPU-hora | 84 GB: una [RTX PRO 6000](/es/gpus/rtx-pro-6000.html.md), desde 1,90 US$ por GPU-hora | 42 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora |
| 405B (Llama 3.1 405B) | 972 GB: 4 × [B300](/es/gpus/b300.html.md), desde 18,40 US$ por hora las 4 | 486 GB: 2 × [B300](/es/gpus/b300.html.md), desde 9,20 US$ por hora las 2 | 243 GB: una [B300](/es/gpus/b300.html.md), desde 4,60 US$ por GPU-hora |

## Ajuste fino de un modelo

Las cifras no incluyen las activaciones.

| Tamaño del modelo | QLoRA | LoRA | Ajuste fino completo |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5,6 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 19 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 128 GB: una [H200](/es/gpus/h200.html.md), desde 4,03 US$ por GPU-hora |
| 14B (Qwen2.5 14B) | 9,8 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 34 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora | 224 GB: una [B300](/es/gpus/b300.html.md), desde 4,60 US$ por GPU-hora |
| 32B (Qwen2.5 32B) | 22 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora | 77 GB: una [H100](/es/gpus/h100.html.md) o [A100](/es/gpus/a100.html.md), la H100 desde 1,65 US$ por GPU-hora | 512 GB: 2 × [B300](/es/gpus/b300.html.md), desde 9,20 US$ por hora las 2 |
| 70B (Llama 3.3 70B) | 49 GB: una [H100](/es/gpus/h100.html.md) o [A100](/es/gpus/a100.html.md), la H100 desde 1,65 US$ por GPU-hora | 168 GB: una [B200](/es/gpus/b200.html.md), desde 6,79 US$ por GPU-hora | 1.120 GB: 8 × [H200](/es/gpus/h200.html.md), desde 32,24 US$ por hora las 8 |
| 405B (Llama 3.1 405B) | 284 GB: 4 × [H100](/es/gpus/h100.html.md), desde 6,60 US$ por hora las 4 | 972 GB: 4 × [B300](/es/gpus/b300.html.md), desde 18,40 US$ por hora las 4 | 6.480 GB: más de una máquina de 8 GPU |

## Las reglas detrás de las cifras

- Pesos: número de parámetros multiplicado por los bytes por parámetro: 2 en 16 bits, 1 en 8 bits y 0,5 en 4 bits.
- Margen para servir: un 20 % más, aproximadamente, para la caché KV y las activaciones con un contexto y un lote moderados.
- Ajuste fino completo: unos 16 bytes por parámetro con Adam de precisión mixta ([ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)).
- LoRA: el modelo base de 16 bits se queda congelado; calcula los pesos más un 20 % aproximadamente.
- QLoRA: una base congelada de 4 bits; sus autores hicieron ajuste fino de un modelo de 65B en una sola GPU de 48 GB ([arXiv:2305.14314](https://arxiv.org/abs/2305.14314)), unos 0,7 bytes por parámetro.

## Preguntas

**¿Cuánta memoria de GPU necesita un modelo de 70B?** Para servirlo, unos 168 GB en 16 bits, 84 GB en 8 bits y 42 GB en 4 bits, incluido un 20 % aproximadamente para la caché KV y las activaciones. Para hacerle ajuste fino, unos 49 GB con QLoRA, 168 GB con LoRA y 1120 GB para un ajuste fino completo con Adam, sin contar las activaciones.

**¿Puedo ejecutar un modelo de 70B en una sola GPU?** Sí. Necesita unos 168 GB en 16 bits, que caben en una B200; unos 84 GB en 8 bits, que caben en una RTX PRO 6000, y unos 42 GB en 4 bits, que caben en una L40S, RTX 6000 Ada o RTX A6000.

**¿Puedo hacer ajuste fino de un modelo de 8B en una RTX 4090?** Sí, con LoRA (unos 19 GB) o QLoRA (unos 6 GB), que caben en los 24 GB de la RTX 4090. El ajuste fino completo necesita unos 128 GB sin contar las activaciones, es decir, una H200.

**¿Por qué el ajuste fino necesita mucha más memoria que servir un modelo?** El ajuste fino completo guarda los pesos y gradientes de 16 bits, además de los estados del optimizador Adam de 32 bits y una copia maestra de 32 bits de los pesos: unos 16 bytes por parámetro (Rajbhandari et al., ZeRO, arXiv:1910.02054). LoRA congela los pesos base y entrena pequeños adaptadores; QLoRA además guarda los pesos congelados en 4 bits, lo que permitió a sus autores hacer ajuste fino de un modelo de 65B en una sola GPU de 48 GB (Dettmers et al., arXiv:2305.14314).

**¿Cuánto cuesta alquilar las GPU de estas tablas?** Cada sugerencia muestra el precio más bajo por GPU-hora en Arrakis en este momento. A fecha de 31 oct 2026, 17:40 UTC, Arrakis ofrece 688 GPU en 201 máquinas. El precio más bajo de la H100 es 1,65 US$ por GPU-hora, y el de la RTX 4090, 0,41 US$ por GPU-hora. Pagas el precio por hora que se muestra al alquilar, desde un saldo prepago.


Precios en tiempo real de todas las GPU: [/gpus](/es/gpus.html.md).