# 任何模型，都能部署到你自己的 GPU 上

Hugging Face 上的文字、影象、影片和語音模型，可以用 vLLM、SGLang、vLLM-Omni 或 llama.cpp 執行。貼上你自己的引擎引數，就能得到一個有專屬金鑰的 OpenAI 相容端點和 root SSH。按 GPU 小時付費，而不是按請求付費。可以從控制台的 **Models** 頁面（[/console/#/models](/console/#/models)）或 `POST /v1/deploy`（[指南](/zh-tw/docs/models.html.md)）開始。

## 能執行什麼

- **文字與視覺。** 用 vLLM、SGLang 或 llama.cpp 提供對話、補全、嵌入和語音轉文字。Hugging Face 上的任何模型都可以，任意量化的 GGUF 檔案也支援。`POST /v1/chat/completions`
- **影象。** 用 vLLM-Omni 或 SGLang Diffusion 執行 FLUX、Qwen-Image、Z-Image 等模型，支援文生圖和影象編輯。`POST /v1/images/generations`
- **影片。** Wan 2.2 的文生影片和圖生影片，以任務的形式提交、查詢進度並下載。`POST /v1/videos`
- **語音與聲音。** 語音用 Qwen3-TTS 和 CosyVoice，音效和音樂用 Stable Audio，均在 vLLM-Omni 上執行。`POST /v1/audio/speech`

## 熱門影象、影片和語音模型

每個模型推理所需的 GPU 視訊記憶體，以及能放下它的最小 GPU。它們都可以從控制台的 **Models** 頁面部署。文字模型請看 [開源模型的 GPU 需求](/zh-tw/models.html.md)。

| 模型 | 生成內容 | 功能 | GPU 視訊記憶體 | 引擎 |
|---|---|---|---|---|
| `black-forest-labs/FLUX.1-schnell` | 映像 | 快速文生圖，1 到 4 步 | 41 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | vLLM-Omni、SGLang |
| `black-forest-labs/FLUX.1-dev` | 映像 | 文生圖 | 41 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | vLLM-Omni、SGLang |
| `black-forest-labs/FLUX.2-klein-9B` | 映像 | 文生圖與影象編輯 | 42 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | vLLM-Omni |
| `Qwen/Qwen-Image-2512` | 映像 | 文生圖，擅長圖中文字 | 70 GB：一張 [H100](/zh-tw/gpus/h100.html.md) 或 [A100](/zh-tw/gpus/a100.html.md)，H100 每 GPU 小時 $1.65 起 | vLLM-Omni、SGLang |
| `Qwen/Qwen-Image-Edit-2511` | 映像 | 影象編輯 | 70 GB：一張 [H100](/zh-tw/gpus/h100.html.md) 或 [A100](/zh-tw/gpus/a100.html.md)，H100 每 GPU 小時 $1.65 起 | vLLM-Omni、SGLang |
| `Tongyi-MAI/Z-Image-Turbo` | 映像 | 快速文生圖，8 步 | 25 GB：一張 [RTX 5090](/zh-tw/gpus/rtx-5090.html.md)，每 GPU 小時 $0.58 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-T2V-A14B-Diffusers` | 影片 | 文生影片，480p 和 720p | 83 GB：一張 [RTX PRO 6000](/zh-tw/gpus/rtx-pro-6000.html.md)，每 GPU 小時 $1.90 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-I2V-A14B-Diffusers` | 影片 | 圖生影片 | 83 GB：一張 [RTX PRO 6000](/zh-tw/gpus/rtx-pro-6000.html.md)，每 GPU 小時 $1.90 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-TI2V-5B-Diffusers` | 影片 | 文字或影象生成影片，720p，單張 GPU 即可 | 28 GB：一張 [RTX 5090](/zh-tw/gpus/rtx-5090.html.md)，每 GPU 小時 $0.58 起 | vLLM-Omni、SGLang |
| `Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice` | 語音 | 文字轉語音，預置音色 | 6.0 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | vLLM-Omni |
| `FunAudioLLM/Fun-CosyVoice3-0.5B-2512` | 語音 | 文字轉語音，聲音克隆 | 3.0 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | vLLM-Omni |
| `stabilityai/stable-audio-open-1.0` | 聲音與音樂 | 音效與音樂 | 8.0 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | vLLM-Omni |
| `lerobot/pi05_base` | 機器人策略 | 視覺-語言-動作策略（pi0.5） | 18 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | vLLM-Omni |
| `nvidia/GR00T-N1.7-3B` | 機器人策略 | 人形機器人策略 | 9.0 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | vLLM-Omni |

## 帶上你調好的引數

貼上你的引數、完整命令或 docker run 命令列都可以，前面的環境變數和加引號的 JSON 值也照常可用。引數由你選擇、由你保持最新；Arrakis 只管地址、埠、金鑰和模型，並在租用前顯示啟動命令。之後無需新機器即可修改：透過 SSH 編輯 `/etc/arrakis/serve`，然後執行 `arrakis-serve restart`。

```sh
VLLM_USE_DEEP_GEMM=1 vllm serve Qwen/Qwen3-8B \
  --max-model-len 32768 --enable-prefix-caching \
  --speculative-config '{"method": "eagle3", "num_speculative_tokens": 3}'
```

## 只執行你的引數，別的都不執行。

- **絕不經過 shell。** 你的引數以引數列表的形式，逐字傳給引擎。shell 語法會被拒絕，絕不會被執行。
- **每個請求都要金鑰。** 端點上的訪問閘道器會在請求到達引擎之前檢查 API 金鑰，而引擎只在機器內部監聽。
- **只用你租的 GPU。** 選擇機器 GPU 的設定會被拒絕，因此機器絕不會碰到其他租戶的 GPU。
- **你的權杖只屬於你。** 你的 Hugging Face 權杖只會傳給機器，Arrakis 從不儲存。

## 像呼叫任何 OpenAI 相容 API 一樣呼叫它

```python
from openai import OpenAI

client = OpenAI(base_url="http://<your endpoint>/v1", api_key="sk-...")
picture = client.images.generate(model="black-forest-labs/FLUX.1-schnell",
                                 prompt="a lighthouse at dawn", size="1024x1024",
                                 response_format="b64_json")
```

## 關於部署模型的問題

**能在自己的 GPU 上執行 FLUX 或 Wan 嗎？** 可以。在控制台的 Models 頁面選擇 vLLM-Omni 或 SGLang，按 Hugging Face 上的名稱填寫模型（black-forest-labs/FLUX.1-dev 或 Wan-AI/Wan2.2-T2V-A14B-Diffusers），門控模型再加上 Hugging Face 權杖，然後選一張放得下它的 GPU。端點在 /v1/images/generations 或 /v1/videos 上響應。

**可以使用哪些引擎引數？** 引擎支援的任何引數都可以。由你貼上，由引擎讀取，並由你隨引擎版本保持更新。Arrakis 只管引擎的監聽位置、金鑰和模型，並拒絕 shell 語法和選擇 GPU 的設定。

**這是無伺服器（serverless）的嗎？** 不是。每個模型都執行在專屬的 GPU 上，從機器開始執行起按小時計費，直到你停止它或到達移除時間。模型載入完成後沒有冷啟動，也不按圖片、秒數或 token 收費。

**端點多久能開始響應？** 通常幾分鐘：機器啟動後，引擎下載並載入模型。大型影片模型需要更久。控制台會顯示何時就緒，以及引擎日誌。

**不換機器能修改引數嗎？** 可以。透過 SSH 編輯 /etc/arrakis/serve/command，然後執行 arrakis-serve restart。端點的地址和金鑰保持不變。

**費用是多少？** 就是你所選 GPU 的小時價格，與租用相同，可從當前最便宜的機器中選擇。不按請求收費。