微调需要什么
QLoRA 在冻结的 4 位模型上训练适配器，LoRA 基于 16 位模型，全量微调则会更新所有权重。以上数字不含激活值，激活值会随批大小和序列长度增长。
| 方法 | 显存与最小配置 |
|---|---|
| QLoRA | 87 GB：一块 RTX PRO 6000，每 GPU 小时 $2.07 起 |
| LoRA | 297 GB：4 × H100，4 块合计每小时 $8.28 起 |
| 全量微调 | 1,978 GB：8 × B300，8 块合计每小时 $36.80 起 |
关于这个模型
来自它在 Hugging Face 上的模型卡和文件。本页的显存数字遵循GPU 显存指南。
- 参数量
- 124B
- 每个 token 激活的参数
- 12B
- 专家数
- 512
- 每个 token 的专家数
- 22
- 上下文窗口（token）
- 262,144
- 发布精度
- BF16
- 许可证
- other
- 发布日期
- 2026-03-10
常见问题
所有 GPU 的实时价格见 GPU 价格页面。
NVIDIA-Nemotron-3-Super-120B-A12B-BF16 需要多少显存？
推理部署时，16 位约需 297 GB，8 位约 148 GB，4 位约 74 GB，其中包含约 20% 用于 KV 缓存和激活值。微调时，QLoRA 约需 87 GB，LoRA 约需 297 GB，使用 Adam 全量微调约需 1,978 GB，均未计入激活值。
NVIDIA-Nemotron-3-Super-120B-A12B-BF16 能在单块 GPU 上运行吗？
可以，但需要量化。8 位下约需 148 GB，一块 B200 就能放下。16 位下需要 4 块 H100。
运行 NVIDIA-Nemotron-3-Super-120B-A12B-BF16 要多少钱？
16 位下需要 4 块 H100；4 位下需要一块 H100 或 A100。本页每种配置都显示 Arrakis 当前每 GPU 小时的最低价格，从预付余额中按小时扣费。
如何在 Arrakis 上部署 NVIDIA-Nemotron-3-Super-120B-A12B-BF16？
在 Arrakis 控制台中打开 Models，粘贴 nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16，选择 vLLM、SGLang 或 llama.cpp，然后租用一块能放下它的 GPU。你会得到一个兼容 OpenAI 的端点，带有专属 API 密钥，并可通过 root SSH 登录机器。