# 任何模型，都能部署到你自己的 GPU 上

Hugging Face 上的文本、图像、视频和语音模型，可以用 vLLM、SGLang、vLLM-Omni 或 llama.cpp 运行。贴上你自己的引擎参数，就能得到一个有专属密钥的 OpenAI 兼容端点和 root SSH。按 GPU 小时付费，而不是按请求付费。可以从控制台的 **Models** 页面（[/console/#/models](/console/#/models)）或 `POST /v1/deploy`（[指南](/zh-cn/docs/models.html.md)）开始。

## 能运行什么

- **文本与视觉。** 用 vLLM、SGLang 或 llama.cpp 提供对话、补全、嵌入和语音转文字。Hugging Face 上的任何模型都可以，任意量化的 GGUF 文件也支持。`POST /v1/chat/completions`
- **图像。** 用 vLLM-Omni 或 SGLang Diffusion 运行 FLUX、Qwen-Image、Z-Image 等模型，支持文生图和图像编辑。`POST /v1/images/generations`
- **视频。** Wan 2.2 的文生视频和图生视频，以任务的形式提交、查询进度并下载。`POST /v1/videos`
- **语音与声音。** 语音用 Qwen3-TTS 和 CosyVoice，音效和音乐用 Stable Audio，均在 vLLM-Omni 上运行。`POST /v1/audio/speech`

## 热门图像、视频和语音模型

每个模型推理所需的 GPU 显存，以及能放下它的最小 GPU。它们都可以从控制台的 **Models** 页面部署。文本模型请看 [开源模型的 GPU 需求](/zh-cn/models.html.md)。

| 模型 | 生成内容 | 功能 | GPU 显存 | 引擎 |
|---|---|---|---|---|
| `black-forest-labs/FLUX.1-schnell` | 镜像 | 快速文生图，1 到 4 步 | 41 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | vLLM-Omni、SGLang |
| `black-forest-labs/FLUX.1-dev` | 镜像 | 文生图 | 41 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | vLLM-Omni、SGLang |
| `black-forest-labs/FLUX.2-klein-9B` | 镜像 | 文生图与图像编辑 | 42 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | vLLM-Omni |
| `Qwen/Qwen-Image-2512` | 镜像 | 文生图，擅长图中文字 | 70 GB：一块 [H100](/zh-cn/gpus/h100.html.md) 或 [A100](/zh-cn/gpus/a100.html.md)，H100 每 GPU 小时 $1.65 起 | vLLM-Omni、SGLang |
| `Qwen/Qwen-Image-Edit-2511` | 镜像 | 图像编辑 | 70 GB：一块 [H100](/zh-cn/gpus/h100.html.md) 或 [A100](/zh-cn/gpus/a100.html.md)，H100 每 GPU 小时 $1.65 起 | vLLM-Omni、SGLang |
| `Tongyi-MAI/Z-Image-Turbo` | 镜像 | 快速文生图，8 步 | 25 GB：一块 [RTX 5090](/zh-cn/gpus/rtx-5090.html.md)，每 GPU 小时 $0.58 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-T2V-A14B-Diffusers` | 视频 | 文生视频，480p 和 720p | 83 GB：一块 [RTX PRO 6000](/zh-cn/gpus/rtx-pro-6000.html.md)，每 GPU 小时 $1.90 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-I2V-A14B-Diffusers` | 视频 | 图生视频 | 83 GB：一块 [RTX PRO 6000](/zh-cn/gpus/rtx-pro-6000.html.md)，每 GPU 小时 $1.90 起 | vLLM-Omni、SGLang |
| `Wan-AI/Wan2.2-TI2V-5B-Diffusers` | 视频 | 文本或图像生成视频，720p，单张 GPU 即可 | 28 GB：一块 [RTX 5090](/zh-cn/gpus/rtx-5090.html.md)，每 GPU 小时 $0.58 起 | vLLM-Omni、SGLang |
| `Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice` | 语音 | 文本转语音，预置音色 | 6.0 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | vLLM-Omni |
| `FunAudioLLM/Fun-CosyVoice3-0.5B-2512` | 语音 | 文本转语音，声音克隆 | 3.0 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | vLLM-Omni |
| `stabilityai/stable-audio-open-1.0` | 声音与音乐 | 音效与音乐 | 8.0 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | vLLM-Omni |
| `lerobot/pi05_base` | 机器人策略 | 视觉-语言-动作策略（pi0.5） | 18 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | vLLM-Omni |
| `nvidia/GR00T-N1.7-3B` | 机器人策略 | 人形机器人策略 | 9.0 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | vLLM-Omni |

## 带上你调好的参数

贴上你的参数、完整命令或 docker run 命令行都可以，前面的环境变量和加引号的 JSON 值也照常可用。参数由你选择、由你保持最新；Arrakis 只管地址、端口、密钥和模型，并在租用前显示启动命令。之后无需新机器即可修改：通过 SSH 编辑 `/etc/arrakis/serve`，然后运行 `arrakis-serve restart`。

```sh
VLLM_USE_DEEP_GEMM=1 vllm serve Qwen/Qwen3-8B \
  --max-model-len 32768 --enable-prefix-caching \
  --speculative-config '{"method": "eagle3", "num_speculative_tokens": 3}'
```

## 只运行你的参数，别的都不运行。

- **绝不经过 shell。** 你的参数以参数列表的形式，逐字传给引擎。shell 语法会被拒绝，绝不会被执行。
- **每个请求都要密钥。** 端点上的访问网关会在请求到达引擎之前检查 API 密钥，而引擎只在机器内部监听。
- **只用你租的 GPU。** 选择机器 GPU 的设置会被拒绝，因此机器绝不会碰到其他租户的 GPU。
- **你的令牌只属于你。** 你的 Hugging Face 令牌只会传给机器，Arrakis 从不保存。

## 像调用任何 OpenAI 兼容 API 一样调用它

```python
from openai import OpenAI

client = OpenAI(base_url="http://<your endpoint>/v1", api_key="sk-...")
picture = client.images.generate(model="black-forest-labs/FLUX.1-schnell",
                                 prompt="a lighthouse at dawn", size="1024x1024",
                                 response_format="b64_json")
```

## 关于部署模型的问题

**能在自己的 GPU 上运行 FLUX 或 Wan 吗？** 可以。在控制台的 Models 页面选择 vLLM-Omni 或 SGLang，按 Hugging Face 上的名称填写模型（black-forest-labs/FLUX.1-dev 或 Wan-AI/Wan2.2-T2V-A14B-Diffusers），门控模型再加上 Hugging Face 令牌，然后选一张放得下它的 GPU。端点在 /v1/images/generations 或 /v1/videos 上响应。

**可以使用哪些引擎参数？** 引擎支持的任何参数都可以。由你粘贴，由引擎读取，并由你随引擎版本保持更新。Arrakis 只管引擎的监听位置、密钥和模型，并拒绝 shell 语法和选择 GPU 的设置。

**这是无服务器（serverless）的吗？** 不是。每个模型都运行在专属的 GPU 上，从机器开始运行起按小时计费，直到你停止它或到达移除时间。模型加载完成后没有冷启动，也不按图片、秒数或 token 收费。

**端点多久能开始响应？** 通常几分钟：机器启动后，引擎下载并加载模型。大型视频模型需要更久。控制台会显示何时就绪，以及引擎日志。

**不换机器能修改参数吗？** 可以。通过 SSH 编辑 /etc/arrakis/serve/command，然后运行 arrakis-serve restart。端点的地址和密钥保持不变。

**费用是多少？** 就是你所选 GPU 的小时价格，与租用相同，可从当前最便宜的机器中选择。不按请求收费。