# 你的模型需要多少 GPU 显存？

按每个参数占用的字节数计算。推理部署时，16 位下每个参数需要 2 字节，8 位需要 1 字节，4 位需要半个字节，另外还需约 20% 用于 KV 缓存和激活值。微调需要的显存多得多：使用 Adam 时每个参数约 16 字节，除非用 LoRA 或 QLoRA 冻结基础模型。

## 推理部署

| 模型规模 | 16 位 | 8 位 | 4 位 |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 9.6 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 4.8 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 |
| 14B (Qwen2.5 14B) | 34 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | 17 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 8.4 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 |
| 32B (Qwen2.5 32B) | 77 GB：一块 [H100](/zh-cn/gpus/h100.html.md) 或 [A100](/zh-cn/gpus/a100.html.md)，H100 每 GPU 小时 $1.65 起 | 38 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | 19 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 |
| 70B (Llama 3.3 70B) | 168 GB：一块 [B200](/zh-cn/gpus/b200.html.md)，每 GPU 小时 $6.79 起 | 84 GB：一块 [RTX PRO 6000](/zh-cn/gpus/rtx-pro-6000.html.md)，每 GPU 小时 $1.90 起 | 42 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 |
| 405B (Llama 3.1 405B) | 972 GB：4 × [B300](/zh-cn/gpus/b300.html.md)，4 块合计每小时 $18.40 起 | 486 GB：2 × [B300](/zh-cn/gpus/b300.html.md)，2 块合计每小时 $9.20 起 | 243 GB：一块 [B300](/zh-cn/gpus/b300.html.md)，每 GPU 小时 $4.60 起 |

## 模型微调

以上数字不含激活值。

| 模型规模 | QLoRA | LoRA | 全量微调 |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5.6 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 19 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 128 GB：一块 [H200](/zh-cn/gpus/h200.html.md)，每 GPU 小时 $4.03 起 |
| 14B (Qwen2.5 14B) | 9.8 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 34 GB：一块 [L40S](/zh-cn/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-cn/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-cn/gpus/rtx-a6000.html.md)，L40S 每 GPU 小时 $0.44 起 | 224 GB：一块 [B300](/zh-cn/gpus/b300.html.md)，每 GPU 小时 $4.60 起 |
| 32B (Qwen2.5 32B) | 22 GB：一块 [RTX 4090](/zh-cn/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-cn/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小时 $0.19 起 | 77 GB：一块 [H100](/zh-cn/gpus/h100.html.md) 或 [A100](/zh-cn/gpus/a100.html.md)，H100 每 GPU 小时 $1.65 起 | 512 GB：2 × [B300](/zh-cn/gpus/b300.html.md)，2 块合计每小时 $9.20 起 |
| 70B (Llama 3.3 70B) | 49 GB：一块 [H100](/zh-cn/gpus/h100.html.md) 或 [A100](/zh-cn/gpus/a100.html.md)，H100 每 GPU 小时 $1.65 起 | 168 GB：一块 [B200](/zh-cn/gpus/b200.html.md)，每 GPU 小时 $6.79 起 | 1,120 GB：8 × [H200](/zh-cn/gpus/h200.html.md)，8 块合计每小时 $32.24 起 |
| 405B (Llama 3.1 405B) | 284 GB：4 × [H100](/zh-cn/gpus/h100.html.md)，4 块合计每小时 $6.60 起 | 972 GB：4 × [B300](/zh-cn/gpus/b300.html.md)，4 块合计每小时 $18.40 起 | 6,480 GB：多于一台 8 卡机器 |

## 数字背后的计算规则

- 权重：参数量乘以每个参数的字节数，16 位为 2，8 位为 1，4 位为 0.5。
- 推理余量：在中等上下文长度和批量下，KV 缓存和激活值约需额外 20%。
- 全量微调：使用混合精度 Adam 时每个参数约 16 字节（[ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)）。
- LoRA：16 位基础模型保持冻结；按权重再加约 20% 来规划。
- QLoRA：基础模型以 4 位冻结；论文作者用一块 48 GB 的 GPU 微调了一个 65B 模型（[arXiv:2305.14314](https://arxiv.org/abs/2305.14314)），每个参数约 0.7 字节。

## 常见问题

**70B 模型需要多少 GPU 显存？** 推理部署约需：16 位 168 GB、8 位 84 GB、4 位 42 GB，其中约 20% 用于 KV 缓存和激活值。微调约需：QLoRA 49 GB、LoRA 168 GB，使用 Adam 全量微调 1,120 GB，均不含激活值。

**70B 模型能在单块 GPU 上运行吗？** 可以。16 位约需 168 GB，一块 B200 即可容纳；8 位约需 84 GB，一块 RTX PRO 6000 即可容纳；4 位约需 42 GB，一块 L40S、RTX 6000 Ada 或 RTX A6000 即可容纳。

**能在 RTX 4090 上微调 8B 模型吗？** 可以。使用 LoRA（约 19 GB）或 QLoRA（约 6 GB）都能放进 RTX 4090 的 24 GB 显存。全量微调不含激活值约需 128 GB，需要一块 H200。

**为什么微调比推理部署需要多得多的显存？** 全量微调需要保存 16 位的权重和梯度，外加 32 位的 Adam 优化器状态和一份 32 位的权重主副本，每个参数约 16 字节（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA 冻结基础权重，只训练小型适配器；QLoRA 还会把冻结的权重以 4 位存储，论文作者借此用一块 48 GB 的 GPU 微调了一个 65B 模型（Dettmers et al., arXiv:2305.14314）。

**租用这些表格中的 GPU 需要多少钱？** 每条建议都会显示 Arrakis 当前每 GPU 小时的最低价格。 截至 2026年10月31日 17:40 UTC，Arrakis 在 200 台机器上共列出 687 块 GPU。H100 的最低价格为每 GPU 小时 $1.65，RTX 4090 为每 GPU 小时 $0.41。 按租用时显示的小时价格从预付余额中扣费。


所有 GPU 的实时价格：[/gpus](/zh-cn/gpus.html.md)。