# 你的模型需要多少 GPU 視訊記憶體？

按每個引數佔用的位元組數計算。推理部署時，16 位下每個引數需要 2 位元組，8 位需要 1 位元組，4 位需要半個位元組，另外還需約 20% 用於 KV 快取和激活值。微調需要的視訊記憶體多得多：使用 Adam 時每個引數約 16 位元組，除非用 LoRA 或 QLoRA 凍結基礎模型。

## 推理部署

| 模型規模 | 16 位 | 8 位 | 4 位 |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 9.6 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 4.8 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 |
| 14B (Qwen2.5 14B) | 34 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | 17 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 8.4 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 |
| 32B (Qwen2.5 32B) | 77 GB：一張 [H100](/zh-tw/gpus/h100.html.md) 或 [A100](/zh-tw/gpus/a100.html.md)，H100 每 GPU 小時 $1.65 起 | 38 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | 19 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 |
| 70B (Llama 3.3 70B) | 168 GB：一張 [B200](/zh-tw/gpus/b200.html.md)，每 GPU 小時 $6.79 起 | 84 GB：一張 [RTX PRO 6000](/zh-tw/gpus/rtx-pro-6000.html.md)，每 GPU 小時 $1.90 起 | 42 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 |
| 405B (Llama 3.1 405B) | 972 GB：4 × [B300](/zh-tw/gpus/b300.html.md)，4 塊合計每小時 $18.40 起 | 486 GB：2 × [B300](/zh-tw/gpus/b300.html.md)，2 塊合計每小時 $9.20 起 | 243 GB：一張 [B300](/zh-tw/gpus/b300.html.md)，每 GPU 小時 $4.60 起 |

## 模型微調

以上數字不含激活值。

| 模型規模 | QLoRA | LoRA | 全量微調 |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5.6 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 19 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 128 GB：一張 [H200](/zh-tw/gpus/h200.html.md)，每 GPU 小時 $4.03 起 |
| 14B (Qwen2.5 14B) | 9.8 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 34 GB：一張 [L40S](/zh-tw/gpus/l40s.html.md)、[RTX 6000 Ada](/zh-tw/gpus/rtx-6000-ada.html.md) 或 [RTX A6000](/zh-tw/gpus/rtx-a6000.html.md)，L40S 每 GPU 小時 $0.44 起 | 224 GB：一張 [B300](/zh-tw/gpus/b300.html.md)，每 GPU 小時 $4.60 起 |
| 32B (Qwen2.5 32B) | 22 GB：一張 [RTX 4090](/zh-tw/gpus/rtx-4090.html.md) 或 [RTX 3090](/zh-tw/gpus/rtx-3090.html.md)，RTX 3090 每 GPU 小時 $0.19 起 | 77 GB：一張 [H100](/zh-tw/gpus/h100.html.md) 或 [A100](/zh-tw/gpus/a100.html.md)，H100 每 GPU 小時 $1.65 起 | 512 GB：2 × [B300](/zh-tw/gpus/b300.html.md)，2 塊合計每小時 $9.20 起 |
| 70B (Llama 3.3 70B) | 49 GB：一張 [H100](/zh-tw/gpus/h100.html.md) 或 [A100](/zh-tw/gpus/a100.html.md)，H100 每 GPU 小時 $1.65 起 | 168 GB：一張 [B200](/zh-tw/gpus/b200.html.md)，每 GPU 小時 $6.79 起 | 1,120 GB：8 × [H200](/zh-tw/gpus/h200.html.md)，8 塊合計每小時 $32.24 起 |
| 405B (Llama 3.1 405B) | 284 GB：4 × [H100](/zh-tw/gpus/h100.html.md)，4 塊合計每小時 $6.60 起 | 972 GB：4 × [B300](/zh-tw/gpus/b300.html.md)，4 塊合計每小時 $18.40 起 | 6,480 GB：多於一台 8 卡機器 |

## 數字背後的計算規則

- 權重：引數量乘以每個引數的位元組數，16 位為 2，8 位為 1，4 位為 0.5。
- 推理餘量：在中等上下文長度和批次下，KV 快取和激活值約需額外 20%。
- 全量微調：使用混合精度 Adam 時每個引數約 16 位元組（[ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)）。
- LoRA：16 位基礎模型保持凍結；按權重再加約 20% 來規劃。
- QLoRA：基礎模型以 4 位凍結；論文作者用一塊 48 GB 的 GPU 微調了一個 65B 模型（[arXiv:2305.14314](https://arxiv.org/abs/2305.14314)），每個引數約 0.7 位元組。

## 常見問題

**70B 模型需要多少 GPU 視訊記憶體？** 推理部署約需：16 位 168 GB、8 位 84 GB、4 位 42 GB，其中約 20% 用於 KV 快取和激活值。微調約需：QLoRA 49 GB、LoRA 168 GB，使用 Adam 全量微調 1,120 GB，均不含激活值。

**70B 模型能在單塊 GPU 上執行嗎？** 可以。16 位約需 168 GB，一塊 B200 即可容納；8 位約需 84 GB，一塊 RTX PRO 6000 即可容納；4 位約需 42 GB，一塊 L40S、RTX 6000 Ada 或 RTX A6000 即可容納。

**能在 RTX 4090 上微調 8B 模型嗎？** 可以。使用 LoRA（約 19 GB）或 QLoRA（約 6 GB）都能放進 RTX 4090 的 24 GB 視訊記憶體。全量微調不含激活值約需 128 GB，需要一塊 H200。

**為什麼微調比推理部署需要多得多的視訊記憶體？** 全量微調需要儲存 16 位的權重和梯度，外加 32 位的 Adam 最佳化器狀態和一份 32 位的權重主副本，每個引數約 16 位元組（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA 凍結基礎權重，只訓練小型介面卡；QLoRA 還會把凍結的權重以 4 位儲存，論文作者藉此用一塊 48 GB 的 GPU 微調了一個 65B 模型（Dettmers et al., arXiv:2305.14314）。

**租用這些表格中的 GPU 需要多少錢？** 每條建議都會顯示 Arrakis 當前每 GPU 小時的最低價格。 截至 2026年10月31日 17:40 UTC，Arrakis 在 201 臺機器上共列出 688 塊 GPU。H100 的最低價格為每 GPU 小時 $1.65，RTX 4090 為每 GPU 小時 $0.41。 按租用時顯示的小時價格從預付餘額中扣費。


所有 GPU 的實時價格：[/gpus](/zh-tw/gpus.html.md)。