Arrakis / Modèles / Kimi-K3

Besoins GPU de Kimi-K3

Kimi-K3 compte 2,8T paramètres. Pour le servir, prévoyez environ 6 672 Go de mémoire GPU en 16 bits, 3 336 Go en 8 bits ou 1 668 Go en 4 bits, dont environ 20 % pour le cache KV et les activations.

C’est un modèle à mélange d’experts : 896 experts, dont 16 actifs pour chaque token. Tous restent en mémoire GPU : prévoyez la mémoire pour l’ensemble des 2,8T paramètres.

Déployer ce modèle Vérifier un autre modèle

Ce qu’il faut pour le servir

La mémoire GPU pour le faire tourner en inférence, avec la plus petite configuration GPU qui le contient et le prix le plus bas sur Arrakis en ce moment.

Précision	Mémoire et plus petite configuration
16 bits	6 672 Go : plus d’une machine à 8 GPU
8 bits	3 336 Go : plus d’une machine à 8 GPU
4 bits	1 668 Go : 8 × B300, à partir de 36,80 $ de l’heure pour les 8

Ce qu’il faut pour l’affiner

QLoRA entraîne des adaptateurs sur un modèle figé en 4 bits, LoRA sur un modèle en 16 bits, et le fine-tuning complet met à jour tous les poids. Les chiffres s’entendent hors activations, qui augmentent avec la taille des lots et la longueur des séquences.

Méthode	Mémoire et plus petite configuration
QLoRA	1 946 Go : 8 × B300, à partir de 36,80 $ de l’heure pour les 8
LoRA	6 672 Go : plus d’une machine à 8 GPU
Fine-tuning complet	44 479 Go : plus d’une machine à 8 GPU

À propos du modèle

D’après sa fiche et ses fichiers sur Hugging Face. Les chiffres de mémoire suivent le guide de la mémoire GPU.

Paramètres: 2.8T
Experts: 896
Experts par token: 16
Fenêtre de contexte (tokens): 1,048,576
Publié en: FP8
Licence: other
Date de publication: 2026-06-13
Poids: moonshotai/Kimi-K3

Déployez-le sur Arrakis

Ouvrez Models dans la console, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine. Ou faites-le tourner vous-même sur n’importe quelle machine avec assez de mémoire GPU :

Déployer ce modèle Comment fonctionne le déploiement

Questions

Les prix en temps réel de tous les GPU sont sur la page Prix des GPU.

De combien de mémoire GPU Kimi-K3 a-t-il besoin ?

Pour le servir, environ 6 672 Go en 16 bits, 3 336 Go en 8 bits et 1 668 Go en 4 bits, dont environ 20 % pour le cache KV et les activations. Pour l’affiner, environ 1 946 Go avec QLoRA, 6 672 Go avec LoRA et 44 479 Go pour un fine-tuning complet avec Adam, hors activations.

Puis-je faire tourner Kimi-K3 sur un seul GPU ?

Non. Même en 4 bits, il lui faut environ 1 668 Go : 8 GPU B300.

Combien coûte l’exécution de Kimi-K3 ?

En 16 bits, il lui faut plus d’une machine à 8 GPU ; en 4 bits, 8 GPU B300. Chaque configuration de cette page affiche le prix le plus bas par heure de GPU sur Arrakis en ce moment, et vous payez à l’heure depuis un solde prépayé.

Comment déployer Kimi-K3 sur Arrakis ?

Ouvrez Models dans la console Arrakis, collez moonshotai/Kimi-K3, choisissez vLLM, SGLang ou llama.cpp, et louez un GPU sur lequel il tient. Vous obtenez un endpoint compatible OpenAI avec sa propre clé d’API, et un accès SSH root à la machine.

Plus de modèles

Tous les modèles, et une vérification pour n’importe quel autre.