arrakis
ES
Iniciar sesión Empezar a alquilar
Menú

Arrakis / Modelos / NVIDIA-Nemotron-3-Super-120B-A12B-BF16

Requisitos de GPU de NVIDIA-Nemotron-3-Super-120B-A12B-BF16

NVIDIA-Nemotron-3-Super-120B-A12B-BF16 tiene 124B parámetros. Para servirlo, calcula unos 297 GB de memoria de GPU en 16 bits, 148 GB en 8 bits o 74 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.

Es un modelo de mezcla de expertos: 512 expertos, 22 de ellos activos en cada token. Todos permanecen en la memoria de la GPU, así que calcula la memoria para los 124B parámetros.

Desplegar este modelo Comprobar otro modelo

Lo que hace falta para servirlo

La memoria de GPU para ejecutarlo en inferencia, con la configuración de GPU más pequeña que lo sostiene y el precio más bajo en Arrakis ahora mismo.

PrecisiónMemoria y configuración mínima
16 bits297 GB: 4 × H100, desde 8,28 US$ por hora las 4
8 bits148 GB: una B200, desde 6,33 US$ por GPU-hora
4 bits74 GB: una H100 o A100, la H100 desde 2,07 US$ por GPU-hora

Lo que hace falta para ajustarlo

QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.

MétodoMemoria y configuración mínima
QLoRA87 GB: una RTX PRO 6000, desde 1,90 US$ por GPU-hora
LoRA297 GB: 4 × H100, desde 8,28 US$ por hora las 4
Ajuste fino completo1.978 GB: 8 × B300, desde 36,80 US$ por hora las 8

Sobre el modelo

De su ficha y sus archivos en Hugging Face. Las cifras de memoria siguen la guía de memoria de GPU.

Parámetros
124B
Activos por token
12B
Expertos
512
Expertos por token
22
Ventana de contexto (tokens)
262,144
Publicado en
BF16
Licencia
other
Fecha de publicación
2026-03-10
Pesos
nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16

Despliégalo en Arrakis

Abre Models en la consola, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina. O ejecútalo tú mismo en cualquier máquina con suficiente memoria de GPU:

vLLM
vllm serve nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 --tensor-parallel-size 4
Desplegar este modelo Cómo funciona el despliegue

Preguntas

Los precios en tiempo real de todas las GPU están en la página de precios de GPU.

¿Cuánta memoria de GPU necesita NVIDIA-Nemotron-3-Super-120B-A12B-BF16?
Para servirlo, unos 297 GB en 16 bits, 148 GB en 8 bits y 74 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 87 GB con QLoRA, 297 GB con LoRA y 1.978 GB para un ajuste fino completo con Adam, sin contar las activaciones.
¿Puedo ejecutar NVIDIA-Nemotron-3-Super-120B-A12B-BF16 en una sola GPU?
Sí, cuantizado. En 8 bits necesita unos 148 GB, que caben en una B200. En 16 bits necesita 4 GPU H100.
¿Cuánto cuesta ejecutar NVIDIA-Nemotron-3-Super-120B-A12B-BF16?
En 16 bits necesita 4 GPU H100; en 4 bits, una H100 o A100. Cada configuración de esta página muestra el precio más bajo por GPU-hora en Arrakis ahora mismo, y pagas por hora desde un saldo prepago.
¿Cómo despliego NVIDIA-Nemotron-3-Super-120B-A12B-BF16 en Arrakis?
Abre Models en la consola de Arrakis, pega nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.

Más modelos

Todos los modelos, y una comprobación para cualquier otro.