任何模型，都能部署到你自己的 GPU 上。

Hugging Face 上的文字、影象、影片和語音模型，可以用 vLLM、SGLang、vLLM-Omni 或 llama.cpp 執行。貼上你自己的引擎引數，就能得到一個有專屬金鑰的 OpenAI 相容端點和 root SSH。按 GPU 小時付費，而不是按請求付費。

部署模型檢視熱門模型

能執行什麼

每個模型一個端點，格式與 OpenAI 客戶端完全一致。引擎執行在基於其官方版本構建的 Arrakis 映像中。

文字與視覺
用 vLLM、SGLang 或 llama.cpp 提供對話、補全、嵌入和語音轉文字。Hugging Face 上的任何模型都可以，任意量化的 GGUF 檔案也支援。
```
POST /v1/chat/completions
```
映像
用 vLLM-Omni 或 SGLang Diffusion 執行 FLUX、Qwen-Image、Z-Image 等模型，支援文生圖和影象編輯。
```
POST /v1/images/generations
```
影片
Wan 2.2 的文生影片和圖生影片，以任務的形式提交、查詢進度並下載。
```
POST /v1/videos
```
語音與聲音
語音用 Qwen3-TTS 和 CosyVoice，音效和音樂用 Stable Audio，均在 vLLM-Omni 上執行。
```
POST /v1/audio/speech
```

熱門影象、影片和語音模型

每個模型推理所需的 GPU 視訊記憶體，以及能放下它的最小 GPU。文字模型請看開源模型的 GPU 需求；其他任何模型，在控制台中輸入名稱即可。

模型	生成內容	功能	GPU 視訊記憶體	引擎	部署
`black-forest-labs/FLUX.1-schnell`	映像	快速文生圖，1 到 4 步	41 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起	vLLM-Omni、SGLang	部署
`black-forest-labs/FLUX.1-dev`	映像	文生圖	41 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起	vLLM-Omni、SGLang	部署
`black-forest-labs/FLUX.2-klein-9B`	映像	文生圖與影象編輯	42 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起	vLLM-Omni	部署
`Qwen/Qwen-Image-2512`	映像	文生圖，擅長圖中文字	70 GB：一張 H100 或 A100，H100 每 GPU 小時 $1.65 起	vLLM-Omni、SGLang	部署
`Qwen/Qwen-Image-Edit-2511`	映像	影象編輯	70 GB：一張 H100 或 A100，H100 每 GPU 小時 $1.65 起	vLLM-Omni、SGLang	部署
`Tongyi-MAI/Z-Image-Turbo`	映像	快速文生圖，8 步	25 GB：一張 RTX 5090，每 GPU 小時 $0.58 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-T2V-A14B-Diffusers`	影片	文生影片，480p 和 720p	83 GB：一張 RTX PRO 6000，每 GPU 小時 $1.90 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-I2V-A14B-Diffusers`	影片	圖生影片	83 GB：一張 RTX PRO 6000，每 GPU 小時 $1.90 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-TI2V-5B-Diffusers`	影片	文字或影象生成影片，720p，單張 GPU 即可	28 GB：一張 RTX 5090，每 GPU 小時 $0.58 起	vLLM-Omni、SGLang	部署
`Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice`	語音	文字轉語音，預置音色	6.0 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起	vLLM-Omni	部署
`FunAudioLLM/Fun-CosyVoice3-0.5B-2512`	語音	文字轉語音，聲音克隆	3.0 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起	vLLM-Omni	部署
`stabilityai/stable-audio-open-1.0`	聲音與音樂	音效與音樂	8.0 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起	vLLM-Omni	部署
`lerobot/pi05_base`	機器人策略	視覺-語言-動作策略（pi0.5）	18 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起	vLLM-Omni	部署
`nvidia/GR00T-N1.7-3B`	機器人策略	人形機器人策略	9.0 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起	vLLM-Omni	部署

帶上你調好的引數

貼上你的引數、完整命令或 docker run 命令列都可以，前面的環境變數和加引號的 JSON 值也照常可用。引數由你選擇、由你保持最新；Arrakis 只管地址、埠、金鑰和模型，並在租用前顯示啟動命令。

之後無需新機器即可修改：透過 SSH 編輯 /etc/arrakis/serve，然後執行 arrakis-serve restart。

VLLM_USE_DEEP_GEMM=1 vllm serve Qwen/Qwen3-8B \
  --max-model-len 32768 --enable-prefix-caching \
  --speculative-config '{"method": "eagle3", "num_speculative_tokens": 3}'

只執行你的引數，別的都不執行。

機器歸你所有，帶 root SSH。從 Arrakis 發到機器上的內容，都會先經過檢查。

絕不經過 shell

你的引數以引數列表的形式，逐字傳給引擎。shell 語法會被拒絕，絕不會被執行。

每個請求都要金鑰

端點上的訪問閘道器會在請求到達引擎之前檢查 API 金鑰，而引擎只在機器內部監聽。

只用你租的 GPU

選擇機器 GPU 的設定會被拒絕，因此機器絕不會碰到其他租戶的 GPU。

你的權杖只屬於你

你的 Hugging Face 權杖只會傳給機器，Arrakis 從不儲存。

像呼叫任何 OpenAI 相容 API 一樣呼叫它

任何 OpenAI 客戶端都能用：設定基礎 URL 和金鑰即可。控制台為每類模型提供示例程式碼、對話和影象試用，以及引擎日誌。

from openai import OpenAI

client = OpenAI(base_url="http://<your endpoint>/v1", api_key="sk-...")
picture = client.images.generate(model="black-forest-labs/FLUX.1-schnell",
                                 prompt="a lighthouse at dawn", size="1024x1024",
                                 response_format="b64_json")

關於部署模型的問題

完整指南：部署模型。

能在自己的 GPU 上執行 FLUX 或 Wan 嗎？

可以。在控制台的 Models 頁面選擇 vLLM-Omni 或 SGLang，按 Hugging Face 上的名稱填寫模型（black-forest-labs/FLUX.1-dev 或 Wan-AI/Wan2.2-T2V-A14B-Diffusers），門控模型再加上 Hugging Face 權杖，然後選一張放得下它的 GPU。端點在 /v1/images/generations 或 /v1/videos 上響應。

可以使用哪些引擎引數？

引擎支援的任何引數都可以。由你貼上，由引擎讀取，並由你隨引擎版本保持更新。Arrakis 只管引擎的監聽位置、金鑰和模型，並拒絕 shell 語法和選擇 GPU 的設定。

這是無伺服器（serverless）的嗎？

不是。每個模型都執行在專屬的 GPU 上，從機器開始執行起按小時計費，直到你停止它或到達移除時間。模型載入完成後沒有冷啟動，也不按圖片、秒數或 token 收費。

端點多久能開始響應？

通常幾分鐘：機器啟動後，引擎下載並載入模型。大型影片模型需要更久。控制台會顯示何時就緒，以及引擎日誌。

不換機器能修改引數嗎？

可以。透過 SSH 編輯 /etc/arrakis/serve/command，然後執行 arrakis-serve restart。端點的地址和金鑰保持不變。

費用是多少？

就是你所選 GPU 的小時價格，與租用相同，可從當前最便宜的機器中選擇。不按請求收費。

你的模型，你的 GPU，你的引數。

部署模型檢視 GPU 價格