Arrakis / 模型 / NVIDIA-Nemotron-3-Nano-4B-BF16

NVIDIA-Nemotron-3-Nano-4B-BF16 的 GPU 需求

NVIDIA-Nemotron-3-Nano-4B-BF16 有 4.0B 参数。部署推理时,16 位约需 9.5 GB 显存,8 位约 4.8 GB,4 位约 2.4 GB,其中包含约 20% 用于 KV 缓存和激活值。

部署推理需要什么

推理运行它所需的显存,能放下它的最小 GPU 配置,以及 Arrakis 当前的最低价格。

精度显存与最小配置
16 位9.5 GB:一块 RTX 4090 或 RTX 3090,RTX 3090 每 GPU 小时 $0.19 起
8 位4.8 GB:一块 RTX 4090 或 RTX 3090,RTX 3090 每 GPU 小时 $0.19 起
4 位2.4 GB:一块 RTX 4090 或 RTX 3090,RTX 3090 每 GPU 小时 $0.19 起

微调需要什么

QLoRA 在冻结的 4 位模型上训练适配器,LoRA 基于 16 位模型,全量微调则会更新所有权重。以上数字不含激活值,激活值会随批大小和序列长度增长。

方法显存与最小配置
QLoRA2.8 GB:一块 RTX 4090 或 RTX 3090,RTX 3090 每 GPU 小时 $0.19 起
LoRA9.5 GB:一块 RTX 4090 或 RTX 3090,RTX 3090 每 GPU 小时 $0.19 起
全量微调64 GB:一块 H100 或 A100,H100 每 GPU 小时 $2.25 起

关于这个模型

来自它在 Hugging Face 上的模型卡和文件。本页的显存数字遵循GPU 显存指南。

参数量
4.0B
上下文窗口(token)
262,144
发布精度
BF16
许可证
other
发布日期
2026-03-07
权重
nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16

在 Arrakis 上部署

在控制台中打开 Models,选择 vLLM、SGLang 或 llama.cpp,然后租用一块能放下它的 GPU。你会得到一个兼容 OpenAI 的端点,带有专属 API 密钥,并可通过 root SSH 登录机器。也可以在任何显存足够的机器上自己运行:

vLLM
vllm serve nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 --tensor-parallel-size 1

常见问题

所有 GPU 的实时价格见 GPU 价格页面。

NVIDIA-Nemotron-3-Nano-4B-BF16 需要多少显存?
推理部署时,16 位约需 10 GB,8 位约 5 GB,4 位约 2 GB,其中包含约 20% 用于 KV 缓存和激活值。微调时,QLoRA 约需 3 GB,LoRA 约需 10 GB,使用 Adam 全量微调约需 64 GB,均未计入激活值。
NVIDIA-Nemotron-3-Nano-4B-BF16 能在单块 GPU 上运行吗?
可以。16 位下约需 9.5 GB,一块 RTX 4090 或 RTX 3090 就能放下。
运行 NVIDIA-Nemotron-3-Nano-4B-BF16 要多少钱?
16 位下需要一块 RTX 4090 或 RTX 3090;4 位下需要一块 RTX 4090 或 RTX 3090。本页每种配置都显示 Arrakis 当前每 GPU 小时的最低价格,从预付余额中按小时扣费。
如何在 Arrakis 上部署 NVIDIA-Nemotron-3-Nano-4B-BF16?
在 Arrakis 控制台中打开 Models,粘贴 nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16,选择 vLLM、SGLang 或 llama.cpp,然后租用一块能放下它的 GPU。你会得到一个兼容 OpenAI 的端点,带有专属 API 密钥,并可通过 root SSH 登录机器。