# Besoins GPU de Qwen2.5-Coder-1.5B

Qwen2.5-Coder-1.5B compte 1,5B paramètres. Pour le servir, prévoyez environ 3,7 Go de mémoire GPU en 16 bits, 1,9 Go en 8 bits ou 0,9 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

[Déployez-le sur Arrakis](/console/#/models?model=Qwen/Qwen2.5-Coder-1.5B).

## Ce qu’il faut pour le servir

| Précision | Mémoire et plus petite configuration |
|---|---|
| 16 bits | 3,7 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| 8 bits | 1,9 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| 4 bits | 0,9 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |

## Ce qu’il faut pour l’affiner

| Méthode | Mémoire et plus petite configuration |
|---|---|
| QLoRA | 1,1 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| LoRA | 3,7 Go : un [RTX 4090](/fr/gpus/rtx-4090.html.md) ou [RTX 3090](/fr/gpus/rtx-3090.html.md), la RTX 3090 à partir de 0,19 $ par heure de GPU |
| Fine-tuning complet | 25 Go : un [RTX 5090](/fr/gpus/rtx-5090.html.md), à partir de 0,58 $ par heure de GPU |

## À propos du modèle

| | |
|---|---|
| Paramètres | `1.5B` |
| Fenêtre de contexte (tokens) | `32,768` |
| Publié en | `BF16` |
| Licence | `apache-2.0` |
| Date de publication | `2024-09-18` |
| Poids | [Qwen/Qwen2.5-Coder-1.5B](https://huggingface.co/Qwen/Qwen2.5-Coder-1.5B) |

## Servez-le vous-même

```
vllm serve Qwen/Qwen2.5-Coder-1.5B --tensor-parallel-size 1
```

## Questions

**De combien de mémoire GPU Qwen2.5-Coder-1.5B a-t-il besoin ?** Pour le servir, environ 4 Go en 16 bits, 2 Go en 8 bits et 1 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 1 Go avec QLoRA, 4 Go avec LoRA et 25 Go pour un fine-tuning complet avec Adam, hors activations.

**Puis-je faire tourner Qwen2.5-Coder-1.5B sur un seul GPU ?** Oui. En 16 bits, il lui faut environ 3,7 Go, ce qui tient sur un RTX 4090 ou RTX 3090.

**Combien coûte l’exécution de Qwen2.5-Coder-1.5B ?** En 16 bits, il lui faut un RTX 4090 ou RTX 3090 ; en 4 bits, un RTX 4090 ou RTX 3090. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.

**Comment déployer Qwen2.5-Coder-1.5B sur Arrakis ?** Ouvrez Models dans la console Arrakis, collez Qwen/Qwen2.5-Coder-1.5B, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.


Plus de modèles : [/models](/fr/models.html.md).