Requisitos de GPU de phi-4
phi-4 tiene 15B parámetros. Para servirlo, calcula unos 35 GB de memoria de GPU en 16 bits, 18 GB en 8 bits o 8,8 GB en 4 bits, incluido un 20% para la caché KV y las activaciones.
Lo que hace falta para servirlo
La memoria de GPU para ejecutarlo en inferencia, con la configuración de GPU más pequeña que lo sostiene y el precio más bajo en Arrakis ahora mismo.
| Precisión | Memoria y configuración mínima |
|---|---|
| 16 bits | 35 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora |
| 8 bits | 18 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| 4 bits | 8,8 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
Lo que hace falta para ajustarlo
QLoRA entrena adaptadores sobre un modelo congelado de 4 bits; LoRA, sobre uno de 16 bits, y el ajuste fino completo actualiza todos los pesos. Las cifras no incluyen las activaciones, que crecen con el tamaño del lote y la longitud de secuencia.
| Método | Memoria y configuración mínima |
|---|---|
| QLoRA | 10 GB: una RTX 4090 o RTX 3090, la RTX 3090 desde 0,19 US$ por GPU-hora |
| LoRA | 35 GB: una L40S, RTX 6000 Ada o RTX A6000, la L40S desde 0,44 US$ por GPU-hora |
| Ajuste fino completo | 235 GB: una B300, desde 4,60 US$ por GPU-hora |
Sobre el modelo
De su ficha y sus archivos en Hugging Face. Las cifras de memoria siguen la guía de memoria de GPU.
- Parámetros
- 15B
- Ventana de contexto (tokens)
- 16,384
- Publicado en
- BF16
- Licencia
- mit
- Fecha de publicación
- 2024-12-11
- Pesos
- microsoft/phi-4
Despliégalo en Arrakis
Abre Models en la consola, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina. O ejecútalo tú mismo en cualquier máquina con suficiente memoria de GPU:
vllm serve microsoft/phi-4 --tensor-parallel-size 1Preguntas
Los precios en tiempo real de todas las GPU están en la página de precios de GPU.