arrakis
FR
Se connecter Commencer à louer
Menu

Arrakis / Modèles / NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

Besoins GPU de NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 compte 561B paramètres. Pour le servir, prévoyez environ 1 345 Go de mémoire GPU en 16 bits, 673 Go en 8 bits ou 336 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

C’est un modèle à mélange d’experts : 512 experts, dont 22 actifs pour chaque token. Tous restent en mémoire GPU : prévoyez la mémoire pour l’ensemble des 561B paramètres.

Déployer ce modèle Vérifier un autre modèle

Ce qu’il faut pour le servir

La mémoire GPU pour le faire tourner en inférence, avec la plus petite configuration GPU qui le contient et le prix le plus bas sur Arrakis en ce moment.

PrécisionMémoire et plus petite configuration
16 bits1 345 Go : 8 × B200, à partir de 54,32 $ de l’heure pour les 8
8 bits673 Go : 4 × B200, à partir de 27,16 $ de l’heure pour les 4
4 bits336 Go : 2 × B200, à partir de 13,58 $ de l’heure pour les 2

Ce qu’il faut pour l’affiner

QLoRA entraîne des adaptateurs sur un modèle figé en 4 bits, LoRA sur un modèle en 16 bits, et le fine-tuning complet met à jour tous les poids. Les chiffres s’entendent hors activations, qui augmentent avec la taille des lots et la longueur des séquences.

MéthodeMémoire et plus petite configuration
QLoRA392 Go : 2 × B300, à partir de 9,20 $ de l’heure pour les 2
LoRA1 345 Go : 8 × B200, à partir de 54,32 $ de l’heure pour les 8
Fine-tuning complet8 968 Go : plus d’une machine à 8 GPU

À propos du modèle

D’après sa fiche et ses fichiers sur Hugging Face. Les chiffres de mémoire suivent le guide de la mémoire GPU.

Paramètres
561B
Actifs par token
55B
Experts
512
Experts par token
22
Fenêtre de contexte (tokens)
262,144
Publié en
BF16
Licence
other
Date de publication
2026-06-03
Poids
nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

Déployez-le sur Arrakis

Ouvrez Models dans la console, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine. Ou faites-le tourner vous-même sur n’importe quelle machine avec assez de mémoire GPU :

vLLM
vllm serve nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 --tensor-parallel-size 8
Déployer ce modèle Comment fonctionne le déploiement

Questions

Les prix en temps réel de tous les GPU sont sur la page Prix des GPU.

De combien de mémoire GPU NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 a-t-il besoin ?
Pour le servir, environ 1 345 Go en 16 bits, 673 Go en 8 bits et 336 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 392 Go avec QLoRA, 1 345 Go avec LoRA et 8 968 Go pour un fine-tuning complet avec Adam, hors activations.
Puis-je faire tourner NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 sur un seul GPU ?
Non. Même en 4 bits, il lui faut environ 336 Go : 2 GPU B200.
Combien coûte l’exécution de NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 ?
En 16 bits, il lui faut 8 GPU B200 ; en 4 bits, 2 GPU B200. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.
Comment déployer NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 sur Arrakis ?
Ouvrez Models dans la console Arrakis, collez nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.

Plus de modèles

Tous les modèles, et une vérification pour n’importe quel autre.