Arrakis / Modèles / SmolLM3-3B

Besoins GPU de SmolLM3-3B

SmolLM3-3B compte 3,1B paramètres. Pour le servir, prévoyez environ 7,4 Go de mémoire GPU en 16 bits, 3,7 Go en 8 bits ou 1,8 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

Déployer ce modèle Vérifier un autre modèle

Ce qu’il faut pour le servir

La mémoire GPU pour le faire tourner en inférence, avec la plus petite configuration GPU qui le contient et le prix le plus bas sur Arrakis en ce moment.

Précision	Mémoire et plus petite configuration
16 bits	7,4 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU
8 bits	3,7 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU
4 bits	1,8 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU

Ce qu’il faut pour l’affiner

QLoRA entraîne des adaptateurs sur un modèle figé en 4 bits, LoRA sur un modèle en 16 bits, et le fine-tuning complet met à jour tous les poids. Les chiffres s’entendent hors activations, qui augmentent avec la taille des lots et la longueur des séquences.

Méthode	Mémoire et plus petite configuration
QLoRA	2,2 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU
LoRA	7,4 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU
Fine-tuning complet	49 Go : un H100 ou A100, la H100 à partir de 2,25 $ par heure de GPU

À propos du modèle

D’après sa fiche et ses fichiers sur Hugging Face. Les chiffres de mémoire suivent le guide de la mémoire GPU.

Paramètres: 3.1B
Fenêtre de contexte (tokens): 65,536
Publié en: BF16
Licence: apache-2.0
Date de publication: 2025-07-08
Poids: HuggingFaceTB/SmolLM3-3B

Déployez-le sur Arrakis

Ouvrez Models dans la console, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine. Ou faites-le tourner vous-même sur n’importe quelle machine avec assez de mémoire GPU :

vLLM

vllm serve HuggingFaceTB/SmolLM3-3B --tensor-parallel-size 1

Déployer ce modèle Comment fonctionne le déploiement

Questions

Les prix en temps réel de tous les GPU sont sur la page Prix des GPU.

De combien de mémoire GPU SmolLM3-3B a-t-il besoin ?

Pour le servir, environ 7 Go en 16 bits, 4 Go en 8 bits et 2 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 2 Go avec QLoRA, 7 Go avec LoRA et 49 Go pour un fine-tuning complet avec Adam, hors activations.

Puis-je faire tourner SmolLM3-3B sur un seul GPU ?

Oui. En 16 bits, il lui faut environ 7,4 Go, ce qui tient sur un RTX 4090 ou RTX 3090.

Combien coûte l’exécution de SmolLM3-3B ?

En 16 bits, il lui faut un RTX 4090 ou RTX 3090 ; en 4 bits, un RTX 4090 ou RTX 3090. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.

Comment déployer SmolLM3-3B sur Arrakis ?

Ouvrez Models dans la console Arrakis, collez HuggingFaceTB/SmolLM3-3B, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.

Plus de modèles

Tous les modèles, et une vérification pour n’importe quel autre.