arrakis
FR
Se connecter Commencer à louer
Menu

Arrakis / Modèles / gpt-oss-120b

Besoins GPU de gpt-oss-120b

gpt-oss-120b compte 117B paramètres. Pour le servir, prévoyez environ 280 Go de mémoire GPU en 16 bits, 140 Go en 8 bits ou 70 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

C’est un modèle à mélange d’experts : 128 experts, dont 4 actifs pour chaque token. Tous restent en mémoire GPU : prévoyez la mémoire pour l’ensemble des 117B paramètres.

Déployer ce modèle Vérifier un autre modèle

Ce qu’il faut pour le servir

La mémoire GPU pour le faire tourner en inférence, avec la plus petite configuration GPU qui le contient et le prix le plus bas sur Arrakis en ce moment.

PrécisionMémoire et plus petite configuration
16 bits280 Go : 2 × H200, à partir de 8,06 $ de l’heure pour les 2
8 bits140 Go : un H200, à partir de 4,03 $ par heure de GPU
4 bits70 Go : un H100 ou A100, la H100 à partir de 2,25 $ par heure de GPU

Ce qu’il faut pour l’affiner

QLoRA entraîne des adaptateurs sur un modèle figé en 4 bits, LoRA sur un modèle en 16 bits, et le fine-tuning complet met à jour tous les poids. Les chiffres s’entendent hors activations, qui augmentent avec la taille des lots et la longueur des séquences.

MéthodeMémoire et plus petite configuration
QLoRA82 Go : un RTX PRO 6000, à partir de 1,90 $ par heure de GPU
LoRA280 Go : 2 × H200, à partir de 8,06 $ de l’heure pour les 2
Fine-tuning complet1 869 Go : 8 × B300, à partir de 36,80 $ de l’heure pour les 8

À propos du modèle

D’après sa fiche et ses fichiers sur Hugging Face. Les chiffres de mémoire suivent le guide de la mémoire GPU.

Paramètres
117B
Experts
128
Experts par token
4
Fenêtre de contexte (tokens)
131,072
Publié en
FP8
Licence
apache-2.0
Date de publication
2025-08-04
Poids
openai/gpt-oss-120b

Déployez-le sur Arrakis

Ouvrez Models dans la console, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine. Ou faites-le tourner vous-même sur n’importe quelle machine avec assez de mémoire GPU :

vLLM
vllm serve openai/gpt-oss-120b --tensor-parallel-size 2
Déployer ce modèle Comment fonctionne le déploiement

Questions

Les prix en temps réel de tous les GPU sont sur la page Prix des GPU.

De combien de mémoire GPU gpt-oss-120b a-t-il besoin ?
Pour le servir, environ 280 Go en 16 bits, 140 Go en 8 bits et 70 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 82 Go avec QLoRA, 280 Go avec LoRA et 1 869 Go pour un fine-tuning complet avec Adam, hors activations.
Puis-je faire tourner gpt-oss-120b sur un seul GPU ?
Oui, quantifié. En 8 bits, il lui faut environ 140 Go, ce qui tient sur un H200. En 16 bits, il lui faut 2 GPU H200.
Combien coûte l’exécution de gpt-oss-120b ?
En 16 bits, il lui faut 2 GPU H200 ; en 4 bits, un H100 ou A100. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.
Comment déployer gpt-oss-120b sur Arrakis ?
Ouvrez Models dans la console Arrakis, collez openai/gpt-oss-120b, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.

Plus de modèles

Tous les modèles, et une vérification pour n’importe quel autre.