任何模型，都能部署到你自己的 GPU 上。

Hugging Face 上的文本、图像、视频和语音模型，可以用 vLLM、SGLang、vLLM-Omni 或 llama.cpp 运行。贴上你自己的引擎参数，就能得到一个有专属密钥的 OpenAI 兼容端点和 root SSH。按 GPU 小时付费，而不是按请求付费。

部署模型查看热门模型

能运行什么

每个模型一个端点，格式与 OpenAI 客户端完全一致。引擎运行在基于其官方版本构建的 Arrakis 镜像中。

文本与视觉
用 vLLM、SGLang 或 llama.cpp 提供对话、补全、嵌入和语音转文字。Hugging Face 上的任何模型都可以，任意量化的 GGUF 文件也支持。
```
POST /v1/chat/completions
```
镜像
用 vLLM-Omni 或 SGLang Diffusion 运行 FLUX、Qwen-Image、Z-Image 等模型，支持文生图和图像编辑。
```
POST /v1/images/generations
```
视频
Wan 2.2 的文生视频和图生视频，以任务的形式提交、查询进度并下载。
```
POST /v1/videos
```
语音与声音
语音用 Qwen3-TTS 和 CosyVoice，音效和音乐用 Stable Audio，均在 vLLM-Omni 上运行。
```
POST /v1/audio/speech
```

热门图像、视频和语音模型

每个模型推理所需的 GPU 显存，以及能放下它的最小 GPU。文本模型请看开源模型的 GPU 需求；其他任何模型，在控制台中输入名称即可。

模型	生成内容	功能	GPU 显存	引擎	部署
`black-forest-labs/FLUX.1-schnell`	镜像	快速文生图，1 到 4 步	41 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起	vLLM-Omni、SGLang	部署
`black-forest-labs/FLUX.1-dev`	镜像	文生图	41 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起	vLLM-Omni、SGLang	部署
`black-forest-labs/FLUX.2-klein-9B`	镜像	文生图与图像编辑	42 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起	vLLM-Omni	部署
`Qwen/Qwen-Image-2512`	镜像	文生图，擅长图中文字	70 GB：一块 H100 或 A100，H100 每 GPU 小时 $2.07 起	vLLM-Omni、SGLang	部署
`Qwen/Qwen-Image-Edit-2511`	镜像	图像编辑	70 GB：一块 H100 或 A100，H100 每 GPU 小时 $2.07 起	vLLM-Omni、SGLang	部署
`Tongyi-MAI/Z-Image-Turbo`	镜像	快速文生图，8 步	25 GB：一块 RTX 5090，每 GPU 小时 $0.58 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-T2V-A14B-Diffusers`	视频	文生视频，480p 和 720p	83 GB：一块 RTX PRO 6000，每 GPU 小时 $1.90 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-I2V-A14B-Diffusers`	视频	图生视频	83 GB：一块 RTX PRO 6000，每 GPU 小时 $1.90 起	vLLM-Omni、SGLang	部署
`Wan-AI/Wan2.2-TI2V-5B-Diffusers`	视频	文本或图像生成视频，720p，单张 GPU 即可	28 GB：一块 RTX 5090，每 GPU 小时 $0.58 起	vLLM-Omni、SGLang	部署
`Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice`	语音	文本转语音，预置音色	6.0 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起	vLLM-Omni	部署
`FunAudioLLM/Fun-CosyVoice3-0.5B-2512`	语音	文本转语音，声音克隆	3.0 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起	vLLM-Omni	部署
`stabilityai/stable-audio-open-1.0`	声音与音乐	音效与音乐	8.0 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起	vLLM-Omni	部署
`lerobot/pi05_base`	机器人策略	视觉-语言-动作策略（pi0.5）	18 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起	vLLM-Omni	部署
`nvidia/GR00T-N1.7-3B`	机器人策略	人形机器人策略	9.0 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起	vLLM-Omni	部署

带上你调好的参数

贴上你的参数、完整命令或 docker run 命令行都可以，前面的环境变量和加引号的 JSON 值也照常可用。参数由你选择、由你保持最新；Arrakis 只管地址、端口、密钥和模型，并在租用前显示启动命令。

之后无需新机器即可修改：通过 SSH 编辑 /etc/arrakis/serve，然后运行 arrakis-serve restart。

VLLM_USE_DEEP_GEMM=1 vllm serve Qwen/Qwen3-8B \
  --max-model-len 32768 --enable-prefix-caching \
  --speculative-config '{"method": "eagle3", "num_speculative_tokens": 3}'

只运行你的参数，别的都不运行。

机器归你所有，带 root SSH。从 Arrakis 发到机器上的内容，都会先经过检查。

绝不经过 shell

你的参数以参数列表的形式，逐字传给引擎。shell 语法会被拒绝，绝不会被执行。

每个请求都要密钥

端点上的访问网关会在请求到达引擎之前检查 API 密钥，而引擎只在机器内部监听。

只用你租的 GPU

选择机器 GPU 的设置会被拒绝，因此机器绝不会碰到其他租户的 GPU。

你的令牌只属于你

你的 Hugging Face 令牌只会传给机器，Arrakis 从不保存。

像调用任何 OpenAI 兼容 API 一样调用它

任何 OpenAI 客户端都能用：设置基础 URL 和密钥即可。控制台为每类模型提供示例代码、对话和图像试用，以及引擎日志。

from openai import OpenAI

client = OpenAI(base_url="http://<your endpoint>/v1", api_key="sk-...")
picture = client.images.generate(model="black-forest-labs/FLUX.1-schnell",
                                 prompt="a lighthouse at dawn", size="1024x1024",
                                 response_format="b64_json")

关于部署模型的问题

完整指南：部署模型。

能在自己的 GPU 上运行 FLUX 或 Wan 吗？

可以。在控制台的 Models 页面选择 vLLM-Omni 或 SGLang，按 Hugging Face 上的名称填写模型（black-forest-labs/FLUX.1-dev 或 Wan-AI/Wan2.2-T2V-A14B-Diffusers），门控模型再加上 Hugging Face 令牌，然后选一张放得下它的 GPU。端点在 /v1/images/generations 或 /v1/videos 上响应。

可以使用哪些引擎参数？

引擎支持的任何参数都可以。由你粘贴，由引擎读取，并由你随引擎版本保持更新。Arrakis 只管引擎的监听位置、密钥和模型，并拒绝 shell 语法和选择 GPU 的设置。

这是无服务器（serverless）的吗？

不是。每个模型都运行在专属的 GPU 上，从机器开始运行起按小时计费，直到你停止它或到达移除时间。模型加载完成后没有冷启动，也不按图片、秒数或 token 收费。

端点多久能开始响应？

通常几分钟：机器启动后，引擎下载并加载模型。大型视频模型需要更久。控制台会显示何时就绪，以及引擎日志。

不换机器能修改参数吗？

可以。通过 SSH 编辑 /etc/arrakis/serve/command，然后运行 arrakis-serve restart。端点的地址和密钥保持不变。

费用是多少？

就是你所选 GPU 的小时价格，与租用相同，可从当前最便宜的机器中选择。不按请求收费。

你的模型，你的 GPU，你的参数。

部署模型查看 GPU 价格