¿Puedo ejecutarlo?

Su número de parámetros, según sus archivos en Hugging Face, por los bytes que ocupa cada parámetro: 2 en 16 bits, 1 en 8 bits y medio byte en 4 bits. Servirlo añade un 20% para la caché KV y las activaciones; los contextos largos y los lotes grandes necesitan más. La guía de memoria de GPU tiene las reglas, y la memoria que necesita el ajuste fino.

Cada token usa solo unos pocos expertos, pero cualquier token puede necesitar cualquier experto, así que todos permanecen en la memoria de la GPU. Menos parámetros activos lo hacen más rápido, no más pequeño.

Sí. Pega el nombre o el enlace de cualquier modelo de Hugging Face en la comprobación de la parte superior de esta página. También funciona con modelos restringidos: su número de parámetros es público.

Abre Models en la consola, pega el nombre del modelo, elige vLLM, SGLang o llama.cpp y alquila una GPU en la que quepa. Obtienes un endpoint compatible con OpenAI con su propia clave de API, y SSH root a la máquina.