Arrakis / Modelos / GLM-5.1

Requisitos de GPU de GLM-5.1

GLM-5.1 tiene 754B parámetros. Para servirlo, calcula unos 1.809 GB de memoria de GPU en 16 bits, 905 GB en 8 bits o 452 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.

Es un modelo de mezcla de expertos: 256 expertos, 8 de ellos activos en cada token. Todos permanecen en la memoria de la GPU, así que calcula la memoria para los 754B parámetros.

Desplegar este modelo Comprobar otro modelo

Lo que hace falta para servirlo

La memoria de GPU para ejecutarlo en inferencia, con la configuración de GPU más pequeña que lo sostiene y el precio más bajo en Arrakis ahora mismo.

Precisión	Memoria y configuración mínima
16 bits	1.809 GB: 8 × B300, desde 36,80 US$ por hora las 8
8 bits	905 GB: 4 × B300, desde 18,40 US$ por hora las 4
4 bits	452 GB: 2 × B300, desde 9,20 US$ por hora las 2

Lo que hace falta para ajustarlo

QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.

Método	Memoria y configuración mínima
QLoRA	528 GB: 4 × H200, desde 13,76 US$ por hora las 4
LoRA	1.809 GB: 8 × B300, desde 36,80 US$ por hora las 8
Ajuste fino completo	12.062 GB: más de una máquina de 8 GPU

Sobre el modelo

De su ficha y sus archivos en Hugging Face. Las cifras de memoria siguen la guía de memoria de GPU.

Parámetros: 754B
Expertos: 256
Expertos por token: 8
Ventana de contexto (tokens): 202,752
Publicado en: BF16
Licencia: mit
Fecha de publicación: 2026-04-03
Pesos: zai-org/GLM-5.1

Despliégalo en Arrakis

Abre Models en la consola, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina. O ejecútalo tú mismo en cualquier máquina con suficiente memoria de GPU:

vLLM

vllm serve zai-org/GLM-5.1 --tensor-parallel-size 8

Desplegar este modelo Cómo funciona el despliegue

Preguntas

Los precios en tiempo real de todas las GPU están en la página de precios de GPU.

¿Cuánta memoria de GPU necesita GLM-5.1?

Para servirlo, unos 1.809 GB en 16 bits, 905 GB en 8 bits y 452 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 528 GB con QLoRA, 1.809 GB con LoRA y 12.062 GB para un ajuste fino completo con Adam, sin contar las activaciones.

¿Puedo ejecutar GLM-5.1 en una sola GPU?

No. Incluso en 4 bits necesita unos 452 GB: 2 GPU B300.

¿Cuánto cuesta ejecutar GLM-5.1?

En 16 bits necesita 8 GPU B300; en 4 bits, 2 GPU B300. Cada configuración de esta página muestra el precio más bajo por GPU-hora en Arrakis ahora mismo, y pagas por hora desde un saldo prepago.

¿Cómo despliego GLM-5.1 en Arrakis?

Abre Models en la consola de Arrakis, pega zai-org/GLM-5.1, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.

Más modelos

Todos los modelos, y una comprobación para cualquier otro.