Déployez n’importe quel modèle sur votre propre GPU.
Texte, images, vidéo et voix depuis Hugging Face, sur vLLM, SGLang, vLLM-Omni ou llama.cpp. Collez vos propres options de moteur, obtenez un endpoint de type OpenAI avec sa propre clé et un accès SSH root, et payez le GPU à l’heure, pas à la requête.
Ce que vous pouvez servir
Un endpoint par modèle, au format que les clients OpenAI parlent déjà. Le moteur tourne dans une image Arrakis construite sur sa version officielle.
Texte et vision
Chat, complétions, embeddings et transcription de la parole sur vLLM, SGLang ou llama.cpp. N’importe quel modèle de Hugging Face, y compris les fichiers GGUF de toute quantification.
POST /v1/chat/completionsImages
FLUX, Qwen-Image, Z-Image et d’autres sur vLLM-Omni ou SGLang Diffusion. Génération d’images à partir de texte et retouche d’images.
POST /v1/images/generationsVidéo
Texte vers vidéo et image vers vidéo avec Wan 2.2, sous forme de tâches que vous lancez, suivez et téléchargez.
POST /v1/videosVoix et son
Qwen3-TTS et CosyVoice pour la voix, Stable Audio pour les sons et la musique, sur vLLM-Omni.
POST /v1/audio/speech
Modèles populaires d’image, de vidéo et de voix
La mémoire GPU nécessaire à chacun pour servir, et le plus petit GPU qui le contient. Pour les modèles de texte, voir Besoins GPU des modèles ouverts ; pour tout autre modèle, saisissez son nom dans la console.
| Modèle | Produit | Ce qu’il fait | Mémoire GPU | Moteurs | Déployer |
|---|---|---|---|---|---|
black-forest-labs/FLUX.1-schnell | Images | Texte vers image rapide, de 1 à 4 étapes | 41 Go : un L40S, RTX 6000 Ada ou RTX A6000, la L40S à partir de 0,44 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
black-forest-labs/FLUX.1-dev | Images | Texte vers image | 41 Go : un L40S, RTX 6000 Ada ou RTX A6000, la L40S à partir de 0,44 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
black-forest-labs/FLUX.2-klein-9B | Images | Texte vers image et retouche | 42 Go : un L40S, RTX 6000 Ada ou RTX A6000, la L40S à partir de 0,44 $ par heure de GPU | vLLM-Omni | Déployer |
Qwen/Qwen-Image-2512 | Images | Texte vers image, excellent pour le texte dans les images | 70 Go : un H100 ou A100, la H100 à partir de 1,65 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Qwen/Qwen-Image-Edit-2511 | Images | Retouche d’images | 70 Go : un H100 ou A100, la H100 à partir de 1,65 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Tongyi-MAI/Z-Image-Turbo | Images | Texte vers image rapide, 8 étapes | 25 Go : un RTX 5090, à partir de 0,58 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Wan-AI/Wan2.2-T2V-A14B-Diffusers | Vidéo | Texte vers vidéo, 480p et 720p | 83 Go : un RTX PRO 6000, à partir de 1,90 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Wan-AI/Wan2.2-I2V-A14B-Diffusers | Vidéo | Image vers vidéo | 83 Go : un RTX PRO 6000, à partir de 1,90 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Wan-AI/Wan2.2-TI2V-5B-Diffusers | Vidéo | Texte ou image vers vidéo, 720p, sur un seul GPU | 28 Go : un RTX 5090, à partir de 0,58 $ par heure de GPU | vLLM-Omni, SGLang | Déployer |
Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice | Voix | Synthèse vocale, voix prédéfinies | 6,0 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU | vLLM-Omni | Déployer |
FunAudioLLM/Fun-CosyVoice3-0.5B-2512 | Voix | Synthèse vocale, clonage de voix | 3,0 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU | vLLM-Omni | Déployer |
stabilityai/stable-audio-open-1.0 | Son et musique | Effets sonores et musique | 8,0 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU | vLLM-Omni | Déployer |
lerobot/pi05_base | Politique robotique | Politique vision-langage-action (pi0.5) | 18 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU | vLLM-Omni | Déployer |
nvidia/GR00T-N1.7-3B | Politique robotique | Politique pour robots humanoïdes | 9,0 Go : un RTX 4090 ou RTX 3090, la RTX 3090 à partir de 0,19 $ par heure de GPU | vLLM-Omni | Déployer |
Apportez les options que vous avez réglées
Collez vos flags, la commande complète ou une ligne docker run, avec des variables devant et des valeurs JSON entre guillemets. Vous les choisissez et les tenez à jour ; Arrakis s’occupe de l’adresse, du port, de la clé et du modèle, et affiche la ligne de démarrage avant la location.
Modifiez-les plus tard sans nouvelle machine : en SSH, éditez /etc/arrakis/serve puis lancez arrakis-serve restart.
VLLM_USE_DEEP_GEMM=1 vllm serve Qwen/Qwen3-8B \
--max-model-len 32768 --enable-prefix-caching \
--speculative-config '{"method": "eagle3", "num_speculative_tokens": 3}'Vos options s’exécutent. Rien d’autre.
La machine est à vous, avec un accès SSH root. Ce qui lui arrive depuis Arrakis est vérifié d’abord.
Jamais de shell
Vos options parviennent au moteur mot pour mot, comme sa liste d’arguments. La syntaxe shell est refusée, jamais exécutée.
Une clé à chaque requête
Un contrôle d’accès sur l’endpoint vérifie sa clé d’API avant qu’une requête n’atteigne le moteur, qui n’écoute qu’à l’intérieur de la machine.
Seulement les GPU que vous louez
Les réglages qui choisissent les GPU d’une machine sont refusés : une machine n’atteint jamais ceux d’un autre locataire.
Votre jeton reste le vôtre
Votre jeton Hugging Face va uniquement à la machine. Arrakis ne le conserve jamais.
Appelez-le comme n’importe quelle API de type OpenAI
N’importe quel client OpenAI fonctionne : indiquez l’URL de base et la clé. La console propose du code pour chaque type de modèle, un essai pour le chat et les images, et le journal du moteur.
from openai import OpenAI
client = OpenAI(base_url="http://<your endpoint>/v1", api_key="sk-...")
picture = client.images.generate(model="black-forest-labs/FLUX.1-schnell",
prompt="a lighthouse at dawn", size="1024x1024",
response_format="b64_json")Questions sur le déploiement de modèles
Le guide complet : Déployer un modèle.