能跑得动吗？

用它在 Hugging Face 上的文件中的参数量，乘以每个参数占用的字节数：16 位为 2 字节，8 位为 1 字节，4 位为半个字节。推理部署还要多出约 20% 用于 KV 缓存和激活值；长上下文和大批量需要更多。GPU 显存指南里有这些规则，以及微调需要的显存。

每个 token 只用到少数几个专家，但任何 token 都可能用到任何专家，所以所有专家都要常驻 GPU 显存。激活参数少让它更快，而不是更小。

可以。把 Hugging Face 上任意模型的名称或链接粘贴到本页顶部的检查框中即可。受限模型也可以：它们的参数量是公开的。

在控制台中打开 Models，粘贴模型名称，选择 vLLM、SGLang 或 llama.cpp，然后租用一块能放下它的 GPU。你会得到一个兼容 OpenAI 的端点，带有专属 API 密钥，并可通过 root SSH 登录机器。