# Requisitos de GPU de Llama-3.3-70B-Instruct

Llama-3.3-70B-Instruct tiene 71B parámetros. Para servirlo, calcula unos 169 GB de memoria de GPU en 16 bits, 85 GB en 8 bits o 42 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.

[Despliégalo en Arrakis](/console/#/models?model=meta-llama/Llama-3.3-70B-Instruct).

## Lo que hace falta para servirlo

| Precisión | Memoria y configuración mínima |
|---|---|
| 16 bits | 169 GB: una [B200](/es/gpus/b200.html.md), desde 6,79 US$ por GPU-hora |
| 8 bits | 85 GB: una [RTX PRO 6000](/es/gpus/rtx-pro-6000.html.md), desde 1,90 US$ por GPU-hora |
| 4 bits | 42 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora |

## Lo que hace falta para ajustarlo

| Método | Memoria y configuración mínima |
|---|---|
| QLoRA | 49 GB: una [H100](/es/gpus/h100.html.md) o [A100](/es/gpus/a100.html.md), la H100 desde 1,65 US$ por GPU-hora |
| LoRA | 169 GB: una [B200](/es/gpus/b200.html.md), desde 6,79 US$ por GPU-hora |
| Ajuste fino completo | 1.129 GB: 8 × [B200](/es/gpus/b200.html.md), desde 54,32 US$ por hora las 8 |

## Sobre el modelo

| | |
|---|---|
| Parámetros | `71B` |
| Publicado en | `BF16` |
| Licencia | `llama3.3` |
| Fecha de publicación | `2024-11-26` |
| Pesos | [meta-llama/Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct) |

## Sírvelo tú mismo

```
vllm serve meta-llama/Llama-3.3-70B-Instruct --tensor-parallel-size 1
```

## Preguntas

**¿Cuánta memoria de GPU necesita Llama-3.3-70B-Instruct?** Para servirlo, unos 169 GB en 16 bits, 85 GB en 8 bits y 42 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 49 GB con QLoRA, 169 GB con LoRA y 1.129 GB para un ajuste fino completo con Adam, sin contar las activaciones.

**¿Puedo ejecutar Llama-3.3-70B-Instruct en una sola GPU?** Sí. En 16 bits necesita unos 169 GB, que caben en una B200.

**¿Cuánto cuesta ejecutar Llama-3.3-70B-Instruct?** En 16 bits necesita una B200; en 4 bits, una L40S, RTX 6000 Ada o RTX A6000. Cada configuración de esta página muestra el precio más bajo por GPU-hora en Arrakis ahora mismo, y pagas por hora desde un saldo prepago.

**¿Cómo despliego Llama-3.3-70B-Instruct en Arrakis?** Abre Models en la consola de Arrakis, pega meta-llama/Llama-3.3-70B-Instruct, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.


Más modelos: [/models](/es/models.html.md).