Arrakis / Modelos / InternVL3_5-GPT-OSS-20B-A4B-Preview-HF
Requisitos de GPU de InternVL3_5-GPT-OSS-20B-A4B-Preview-HF
InternVL3_5-GPT-OSS-20B-A4B-Preview-HF tiene 21B parámetros. Para servirlo, calcula unos 51 GB de memoria de GPU en 16 bits, 25 GB en 8 bits o 13 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.
Es un modelo de mezcla de expertos: 32 expertos, 4 de ellos activos en cada token. Todos permanecen en la memoria de la GPU, así que calcula la memoria para los 21B parámetros.
Lo que hace falta para servirlo
La memoria de GPU para ejecutarlo en inferencia, con la configuración de GPU más pequeña que lo sostiene y el precio más bajo en Arrakis ahora mismo.
| Precisión | Memoria y configuración mínima |
|---|---|
| 16 bits | 51 GB: una H100 o A100, la H100 desde 2,25 US$ por GPU-hora |
| 8 bits | 25 GB: una RTX 5090, desde 0,58 US$ por GPU-hora |
| 4 bits | 13 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
Lo que hace falta para ajustarlo
QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.
| Método | Memoria y configuración mínima |
|---|---|
| QLoRA | 15 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| LoRA | 51 GB: una H100 o A100, la H100 desde 2,25 US$ por GPU-hora |
| Ajuste fino completo | 340 GB: 2 × B200, desde 13,58 US$ por hora las 2 |
Sobre el modelo
De su ficha y sus archivos en Hugging Face. Las cifras de memoria siguen la guía de memoria de GPU.
- Parámetros
- 21B
- Activos por token
- 4B
- Expertos
- 32
- Expertos por token
- 4
- Ventana de contexto (tokens)
- 131,072
- Publicado en
- BF16
- Licencia
- apache-2.0
- Fecha de publicación
- 2025-08-29
Despliégalo en Arrakis
Abre Models en la consola, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina. O ejecútalo tú mismo en cualquier máquina con suficiente memoria de GPU:
vllm serve OpenGVLab/InternVL3_5-GPT-OSS-20B-A4B-Preview-HF --tensor-parallel-size 1Preguntas
Los precios en tiempo real de todas las GPU están en la página de precios de GPU.