# Requisitos de GPU de Qwen2-VL-2B-Instruct

Qwen2-VL-2B-Instruct tiene 2,2B parámetros. Para servirlo, calcula unos 5,3 GB de memoria de GPU en 16 bits, 2,7 GB en 8 bits o 1,3 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.

[Despliégalo en Arrakis](/console/#/models?model=Qwen/Qwen2-VL-2B-Instruct).

## Lo que hace falta para servirlo

| Precisión | Memoria y configuración mínima |
|---|---|
| 16 bits | 5,3 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| 8 bits | 2,7 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| 4 bits | 1,3 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |

## Lo que hace falta para ajustarlo

| Método | Memoria y configuración mínima |
|---|---|
| QLoRA | 1,5 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| LoRA | 5,3 GB: una [RTX 4090](/es/gpus/rtx-4090.html.md) o [RTX 3090](/es/gpus/rtx-3090.html.md), la RTX 3090 desde 0,19 US$ por GPU-hora |
| Ajuste fino completo | 35 GB: una [L40S](/es/gpus/l40s.html.md), [RTX 6000 Ada](/es/gpus/rtx-6000-ada.html.md) o [RTX A6000](/es/gpus/rtx-a6000.html.md), la L40S desde 0,44 US$ por GPU-hora |

## Sobre el modelo

| | |
|---|---|
| Parámetros | `2.2B` |
| Ventana de contexto (tokens) | `32,768` |
| Publicado en | `BF16` |
| Licencia | `apache-2.0` |
| Fecha de publicación | `2024-08-28` |
| Pesos | [Qwen/Qwen2-VL-2B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-2B-Instruct) |

## Sírvelo tú mismo

```
vllm serve Qwen/Qwen2-VL-2B-Instruct --tensor-parallel-size 1
```

## Preguntas

**¿Cuánta memoria de GPU necesita Qwen2-VL-2B-Instruct?** Para servirlo, unos 5 GB en 16 bits, 3 GB en 8 bits y 1 GB en 4 bits, incluido un 20% para la caché KV y las activaciones. Para ajustarlo, unos 2 GB con QLoRA, 5 GB con LoRA y 35 GB para un ajuste fino completo con Adam, sin contar las activaciones.

**¿Puedo ejecutar Qwen2-VL-2B-Instruct en una sola GPU?** Sí. En 16 bits necesita unos 5,3 GB, que caben en una RTX 4090 o RTX 3090.

**¿Cuánto cuesta ejecutar Qwen2-VL-2B-Instruct?** En 16 bits necesita una RTX 4090 o RTX 3090; en 4 bits, una RTX 4090 o RTX 3090. Cada configuración de esta página muestra el precio más bajo por GPU-hora en Arrakis ahora mismo, y pagas por hora desde un saldo prepago.

**¿Cómo despliego Qwen2-VL-2B-Instruct en Arrakis?** Abre Models en la consola de Arrakis, pega Qwen/Qwen2-VL-2B-Instruct, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.


Más modelos: [/models](/es/models.html.md).