能跑得動嗎？

用它在 Hugging Face 上的檔案中的引數量，乘以每個引數佔用的位元組數：16 位為 2 位元組，8 位為 1 位元組，4 位為半個位元組。推理部署還要多出約 20% 用於 KV 快取和激活值；長上下文和大批次需要更多。GPU 視訊記憶體指南里有這些規則，以及微調需要的視訊記憶體。

每個 token 只用到少數幾個專家，但任何 token 都可能用到任何專家，所以所有專家都要常駐 GPU 視訊記憶體。啟用引數少讓它更快，而不是更小。

可以。把 Hugging Face 上任意模型的名稱或連結貼上到本頁頂部的檢查框中即可。受限模型也可以：它們的引數量是公開的。

在控制台中開啟 Models，貼上模型名稱，選擇 vLLM、SGLang 或 llama.cpp，然後租用一塊能放下它的 GPU。你會得到一個相容 OpenAI 的端點，帶有專屬 API 金鑰，並可透過 root SSH 登入機器。