# Besoins GPU de Llama-3.3-70B-Instruct

Llama-3.3-70B-Instruct compte 71B paramètres. Pour le servir, prévoyez environ 169 Go de mémoire GPU en 16 bits, 85 Go en 8 bits ou 42 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

[Déployez-le sur Arrakis](/console/#/models?model=meta-llama/Llama-3.3-70B-Instruct).

## Ce qu’il faut pour le servir

| Précision | Mémoire et plus petite configuration |
|---|---|
| 16 bits | 169 Go : un [B200](/fr/gpus/b200.html.md), à partir de 6,79 $ par heure de GPU |
| 8 bits | 85 Go : un [RTX PRO 6000](/fr/gpus/rtx-pro-6000.html.md), à partir de 1,90 $ par heure de GPU |
| 4 bits | 42 Go : un [L40S](/fr/gpus/l40s.html.md), [RTX 6000 Ada](/fr/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/fr/gpus/rtx-a6000.html.md), la L40S à partir de 0,44 $ par heure de GPU |

## Ce qu’il faut pour l’affiner

| Méthode | Mémoire et plus petite configuration |
|---|---|
| QLoRA | 49 Go : un [H100](/fr/gpus/h100.html.md) ou [A100](/fr/gpus/a100.html.md), la H100 à partir de 1,65 $ par heure de GPU |
| LoRA | 169 Go : un [B200](/fr/gpus/b200.html.md), à partir de 6,79 $ par heure de GPU |
| Fine-tuning complet | 1 129 Go : 8 × [B200](/fr/gpus/b200.html.md), à partir de 54,32 $ de l’heure pour les 8 |

## À propos du modèle

| | |
|---|---|
| Paramètres | `71B` |
| Publié en | `BF16` |
| Licence | `llama3.3` |
| Date de publication | `2024-11-26` |
| Poids | [meta-llama/Llama-3.3-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct) |

## Servez-le vous-même

```
vllm serve meta-llama/Llama-3.3-70B-Instruct --tensor-parallel-size 1
```

## Questions

**De combien de mémoire GPU Llama-3.3-70B-Instruct a-t-il besoin ?** Pour le servir, environ 169 Go en 16 bits, 85 Go en 8 bits et 42 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 49 Go avec QLoRA, 169 Go avec LoRA et 1 129 Go pour un fine-tuning complet avec Adam, hors activations.

**Puis-je faire tourner Llama-3.3-70B-Instruct sur un seul GPU ?** Oui. En 16 bits, il lui faut environ 169 Go, ce qui tient sur un B200.

**Combien coûte l’exécution de Llama-3.3-70B-Instruct ?** En 16 bits, il lui faut un B200 ; en 4 bits, un L40S, RTX 6000 Ada ou RTX A6000. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.

**Comment déployer Llama-3.3-70B-Instruct sur Arrakis ?** Ouvrez Models dans la console Arrakis, collez meta-llama/Llama-3.3-70B-Instruct, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.


Plus de modèles : [/models](/fr/models.html.md).