# De combien de mémoire GPU votre modèle a-t-il besoin ?

Comptez les octets par paramètre. Pour servir un modèle, il faut 2 octets par paramètre en 16 bits, 1 en 8 bits et un demi-octet en 4 bits, plus environ 20 % pour le cache KV et les activations. Le fine-tuning demande bien davantage : environ 16 octets par paramètre avec Adam, sauf si LoRA ou QLoRA gèle le modèle de base.

## Servir un modèle

| Taille du modèle | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 9,6 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 4,8 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| 14B (Qwen2.5 14B) | 34 Go : un [L40S](/fr/gpus/l40s.html.md), [RTX 6000 Ada](/fr/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/fr/gpus/rtx-a6000.html.md), la L40S à partir de 0,44 $ par heure de GPU | 17 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 8,4 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| 32B (Qwen2.5 32B) | 77 Go : un [H100](/fr/gpus/h100.html.md) ou [A100](/fr/gpus/a100.html.md), la H100 à partir de 1,65 $ par heure de GPU | 38 Go : un [L40S](/fr/gpus/l40s.html.md), [RTX 6000 Ada](/fr/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/fr/gpus/rtx-a6000.html.md), la L40S à partir de 0,44 $ par heure de GPU | 19 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| 70B (Llama 3.3 70B) | 168 Go : un [B200](/fr/gpus/b200.html.md), à partir de 6,79 $ par heure de GPU | 84 Go : un [RTX PRO 6000](/fr/gpus/rtx-pro-6000.html.md), à partir de 1,90 $ par heure de GPU | 42 Go : un [L40S](/fr/gpus/l40s.html.md), [RTX 6000 Ada](/fr/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/fr/gpus/rtx-a6000.html.md), la L40S à partir de 0,44 $ par heure de GPU |
| 405B (Llama 3.1 405B) | 972 Go : 4 × [B300](/fr/gpus/b300.html.md), à partir de 18,40 $ de l’heure pour les 4 | 486 Go : 2 × [B300](/fr/gpus/b300.html.md), à partir de 9,20 $ de l’heure pour les 2 | 243 Go : un [B300](/fr/gpus/b300.html.md), à partir de 4,60 $ par heure de GPU |

## Fine-tuner un modèle

Les chiffres s’entendent hors activations.

| Taille du modèle | QLoRA | LoRA | Fine-tuning complet |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5,6 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 19 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 128 Go : un [H200](/fr/gpus/h200.html.md), à partir de 4,03 $ par heure de GPU |
| 14B (Qwen2.5 14B) | 9,8 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 34 Go : un [L40S](/fr/gpus/l40s.html.md), [RTX 6000 Ada](/fr/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/fr/gpus/rtx-a6000.html.md), la L40S à partir de 0,44 $ par heure de GPU | 224 Go : un [B300](/fr/gpus/b300.html.md), à partir de 4,60 $ par heure de GPU |
| 32B (Qwen2.5 32B) | 22 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU | 77 Go : un [H100](/fr/gpus/h100.html.md) ou [A100](/fr/gpus/a100.html.md), la H100 à partir de 1,65 $ par heure de GPU | 512 Go : 2 × [B300](/fr/gpus/b300.html.md), à partir de 9,20 $ de l’heure pour les 2 |
| 70B (Llama 3.3 70B) | 49 Go : un [H100](/fr/gpus/h100.html.md) ou [A100](/fr/gpus/a100.html.md), la H100 à partir de 1,65 $ par heure de GPU | 168 Go : un [B200](/fr/gpus/b200.html.md), à partir de 6,79 $ par heure de GPU | 1 120 Go : 8 × [H200](/fr/gpus/h200.html.md), à partir de 32,24 $ de l’heure pour les 8 |
| 405B (Llama 3.1 405B) | 284 Go : 4 × [H100](/fr/gpus/h100.html.md), à partir de 6,60 $ de l’heure pour les 4 | 972 Go : 4 × [B300](/fr/gpus/b300.html.md), à partir de 18,40 $ de l’heure pour les 4 | 6 480 Go : plus d’une machine à 8 GPU |

## Les règles derrière les chiffres

- Poids : nombre de paramètres multiplié par les octets par paramètre : 2 en 16 bits, 1 en 8 bits, 0,5 en 4 bits.
- Marge pour servir le modèle : environ 20 % de plus pour le cache KV et les activations, avec un contexte et des lots modérés.
- Fine-tuning complet : environ 16 octets par paramètre avec Adam en précision mixte ([ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)).
- LoRA : le modèle de base en 16 bits reste figé ; prévoyez la taille des poids plus environ 20 %.
- QLoRA : une base figée en 4 bits ; ses auteurs ont fine-tuné un modèle 65B sur un seul GPU de 48 Go ([arXiv:2305.14314](https://arxiv.org/abs/2305.14314)), soit environ 0,7 octet par paramètre.

## Questions

**De combien de mémoire GPU un modèle 70B a-t-il besoin ?** Pour le servir, environ 168 Go en 16 bits, 84 Go en 8 bits et 42 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour le fine-tuner, environ 49 Go avec QLoRA, 168 Go avec LoRA et 1 120 Go pour un fine-tuning complet avec Adam, hors activations.

**Puis-je faire tourner un modèle 70B sur un seul GPU ?** Oui. Il lui faut environ 168 Go en 16 bits, ce qui tient sur une B200 ; environ 84 Go en 8 bits, ce qui tient sur une RTX PRO 6000 ; environ 42 Go en 4 bits, ce qui tient sur une L40S, une RTX 6000 Ada ou une RTX A6000.

**Puis-je fine-tuner un modèle 8B sur une RTX 4090 ?** Oui, avec LoRA (environ 19 Go) ou QLoRA (environ 6 Go), qui tiennent dans les 24 Go de la RTX 4090. Le fine-tuning complet demande environ 128 Go hors activations, soit une H200.

**Pourquoi faut-il tellement plus de mémoire pour fine-tuner un modèle que pour le servir ?** Le fine-tuning complet conserve les poids et les gradients en 16 bits, plus les états de l’optimiseur Adam en 32 bits et une copie maîtresse des poids en 32 bits, soit environ 16 octets par paramètre (Rajbhandari et al., ZeRO, arXiv:1910.02054). LoRA gèle les poids de base et entraîne de petits adaptateurs ; QLoRA stocke en plus les poids gelés en 4 bits, ce qui a permis à ses auteurs de fine-tuner un modèle 65B sur un seul GPU de 48 Go (Dettmers et al., arXiv:2305.14314).

**Combien coûte la location des GPU de ces tableaux ?** Chaque suggestion indique le prix par heure de GPU le plus bas sur Arrakis en ce moment. Au 31 oct. 2026, 17:40 UTC, Arrakis propose 688 GPU sur 201 machines. Le prix le plus bas de la H100 est de 1,65 $ par heure de GPU, et celui de la RTX 4090 de 0,41 $ par heure de GPU. Vous payez le prix horaire affiché au moment de la location, débité d’un solde prépayé.


Prix en temps réel de tous les GPU : [/gpus](/fr/gpus.html.md).