Arrakis / 指南 / GPU 显存
你的模型需要多少 GPU 显存？
按每个参数占用的字节数计算。推理部署时，16 位下每个参数需要 2 字节，8 位需要 1 字节，4 位需要半个字节，另外还需约 20% 用于 KV 缓存和激活值。微调需要的显存多得多：使用 Adam 时每个参数约 16 字节，除非用 LoRA 或 QLoRA 冻结基础模型。
推理部署
运行模型推理所需的显存，以及能装下它的最小 GPU 配置和 Arrakis 当前的最低价格。
| 模型规模 | 16 位 | 8 位 | 4 位 |
|---|---|---|---|
| 8BLlama 3.1 8B | 19 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 9.6 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 4.8 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 |
| 14BQwen2.5 14B | 34 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起 | 17 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 8.4 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 |
| 32BQwen2.5 32B | 77 GB：一块 H100 或 A100，H100 每 GPU 小时 $2.07 起 | 38 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起 | 19 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 |
| 70BLlama 3.3 70B | 168 GB：一块 B200，每 GPU 小时 $6.33 起 | 84 GB：一块 RTX PRO 6000，每 GPU 小时 $1.90 起 | 42 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起 |
| 405BLlama 3.1 405B | 972 GB：4 × B300，4 块合计每小时 $18.40 起 | 486 GB：2 × B300，2 块合计每小时 $9.20 起 | 243 GB：一块 B300，每 GPU 小时 $4.60 起 |
模型微调
QLoRA 在冻结的 4 位模型上训练适配器，LoRA 基于 16 位模型，全量微调则会更新所有权重。以上数字不含激活值，激活值会随批大小和序列长度增长。
| 模型规模 | QLoRA | LoRA | 全量微调 |
|---|---|---|---|
| 8BLlama 3.1 8B | 5.6 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 19 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 128 GB：一块 H200，每 GPU 小时 $3.44 起 |
| 14BQwen2.5 14B | 9.8 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 34 GB：一块 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小时 $0.44 起 | 224 GB：一块 B300，每 GPU 小时 $4.60 起 |
| 32BQwen2.5 32B | 22 GB：一块 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小时 $0.19 起 | 77 GB：一块 H100 或 A100，H100 每 GPU 小时 $2.07 起 | 512 GB：2 × B300，2 块合计每小时 $9.20 起 |
| 70BLlama 3.3 70B | 49 GB：一块 H100 或 A100，H100 每 GPU 小时 $2.07 起 | 168 GB：一块 B200，每 GPU 小时 $6.33 起 | 1,120 GB：8 × H200，8 块合计每小时 $27.52 起 |
| 405BLlama 3.1 405B | 284 GB：4 × H100，4 块合计每小时 $8.28 起 | 972 GB：4 × B300，4 块合计每小时 $18.40 起 | 6,480 GB：多于一台 8 卡机器 |
数字背后的计算规则
经验法则，足以用来选择 GPU。长时间运行前请先实测。
- 权重
- 参数量乘以每个参数的字节数：16 位（BF16 或 FP16）为 2，8 位（FP8 或 INT8）为 1，4 位为 0.5。
- 推理余量
- 在中等上下文长度和批量下，KV 缓存和激活值约需额外 20%。上下文更长、批量更大时需要更多。
- 全量微调
- 使用混合精度 Adam 时，每个参数约需 16 字节：权重、梯度、优化器状态和一份 32 位主副本（ZeRO, arXiv:1910.02054）。可用 FSDP 或 ZeRO 将其拆分到多块 GPU 上。
- LoRA
- 16 位基础模型保持冻结，只训练小型适配器。按权重再加约 20% 来规划。
- QLoRA
- 冻结的基础模型以 4 位存储。论文作者用一块 48 GB 的 GPU 微调了一个 65B 模型（QLoRA, arXiv:2305.14314），每个参数约 0.7 字节。
- GPU 显存
- 数据来自 NVIDIA 各 GPU 的官方页面，链接见本站对应 GPU 页面。
常见问题
所有 GPU 的实时价格见 GPU 价格页面。
70B 模型需要多少 GPU 显存？
推理部署时，16 位约需 168 GB，8 位约 84 GB，4 位约 42 GB，其中包含约 20% 用于 KV 缓存和激活值。微调时，QLoRA 约需 49 GB，LoRA 约需 168 GB，使用 Adam 全量微调约需 1,120 GB，均未计入激活值。
能在单块 GPU 上运行 70B 模型吗？
可以。16 位约需 168 GB，一块 B200 即可容纳；8 位约需 84 GB，一块 RTX PRO 6000 即可容纳；4 位约需 42 GB，一块 L40S、RTX 6000 Ada 或 RTX A6000 即可容纳。
能在 RTX 4090 上微调 8B 模型吗？
可以。使用 LoRA（约 19 GB）或 QLoRA（约 6 GB）都能放进 RTX 4090 的 24 GB 显存。全量微调不含激活值约需 128 GB，需要一块 H200。
为什么微调比推理部署需要多得多的显存？
全量微调需要保存 16 位的权重和梯度，外加 32 位的 Adam 优化器状态和一份 32 位的权重主副本，每个参数约 16 字节（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA 冻结基础权重，只训练小型适配器；QLoRA 还会把冻结的权重以 4 位存储，论文作者借此用一块 48 GB 的 GPU 微调了一个 65B 模型（Dettmers et al., arXiv:2305.14314）。
租用这些表格中的 GPU 需要多少钱？
每条建议都会显示 Arrakis 当前每 GPU 小时的最低价格。 截至 2026年10月31日 16:52 UTC，Arrakis 在 188 台机器上共列出 619 块 GPU。H100 的最低价格为每 GPU 小时 $2.07，RTX 4090 为每 GPU 小时 $0.38。 按租用时显示的小时价格从预付余额中扣费。