Arrakis / 指南 / GPU 視訊記憶體
你的模型需要多少 GPU 視訊記憶體？
按每個引數佔用的位元組數計算。推理部署時，16 位下每個引數需要 2 位元組，8 位需要 1 位元組，4 位需要半個位元組，另外還需約 20% 用於 KV 快取和激活值。微調需要的視訊記憶體多得多：使用 Adam 時每個引數約 16 位元組，除非用 LoRA 或 QLoRA 凍結基礎模型。
推理部署
執行模型推理所需的視訊記憶體，以及能裝下它的最小 GPU 配置和 Arrakis 當前的最低價格。
| 模型規模 | 16 位 | 8 位 | 4 位 |
|---|---|---|---|
| 8BLlama 3.1 8B | 19 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 9.6 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 4.8 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 |
| 14BQwen2.5 14B | 34 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起 | 17 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 8.4 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 |
| 32BQwen2.5 32B | 77 GB：一張 H100 或 A100，H100 每 GPU 小時 $1.65 起 | 38 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起 | 19 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 |
| 70BLlama 3.3 70B | 168 GB：一張 B200，每 GPU 小時 $6.79 起 | 84 GB：一張 RTX PRO 6000，每 GPU 小時 $1.90 起 | 42 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起 |
| 405BLlama 3.1 405B | 972 GB：4 × B300，4 塊合計每小時 $18.40 起 | 486 GB：2 × B300，2 塊合計每小時 $9.20 起 | 243 GB：一張 B300，每 GPU 小時 $4.60 起 |
模型微調
QLoRA 在凍結的 4 位模型上訓練介面卡，LoRA 基於 16 位模型，全量微調則會更新所有權重。以上數字不含激活值，激活值會隨批大小和序列長度增長。
| 模型規模 | QLoRA | LoRA | 全量微調 |
|---|---|---|---|
| 8BLlama 3.1 8B | 5.6 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 19 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 128 GB：一張 H200，每 GPU 小時 $4.03 起 |
| 14BQwen2.5 14B | 9.8 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 34 GB：一張 L40S、RTX 6000 Ada 或 RTX A6000，L40S 每 GPU 小時 $0.44 起 | 224 GB：一張 B300，每 GPU 小時 $4.60 起 |
| 32BQwen2.5 32B | 22 GB：一張 RTX 4090 或 RTX 3090，RTX 3090 每 GPU 小時 $0.19 起 | 77 GB：一張 H100 或 A100，H100 每 GPU 小時 $1.65 起 | 512 GB：2 × B300，2 塊合計每小時 $9.20 起 |
| 70BLlama 3.3 70B | 49 GB：一張 H100 或 A100，H100 每 GPU 小時 $1.65 起 | 168 GB：一張 B200，每 GPU 小時 $6.79 起 | 1,120 GB：8 × H200，8 塊合計每小時 $32.24 起 |
| 405BLlama 3.1 405B | 284 GB：4 × H100，4 塊合計每小時 $6.60 起 | 972 GB：4 × B300，4 塊合計每小時 $18.40 起 | 6,480 GB：多於一台 8 卡機器 |
數字背後的計算規則
經驗法則，足以用來選擇 GPU。長時間執行前請先實測。
- 權重
- 引數量乘以每個引數的位元組數：16 位（BF16 或 FP16）為 2，8 位（FP8 或 INT8）為 1，4 位為 0.5。
- 推理餘量
- 在中等上下文長度和批次下，KV 快取和激活值約需額外 20%。上下文更長、批次更大時需要更多。
- 全量微調
- 使用混合精度 Adam 時，每個引數約需 16 位元組：權重、梯度、最佳化器狀態和一份 32 位主副本（ZeRO, arXiv:1910.02054）。可用 FSDP 或 ZeRO 將其拆分到多塊 GPU 上。
- LoRA
- 16 位基礎模型保持凍結，只訓練小型介面卡。按權重再加約 20% 來規劃。
- QLoRA
- 凍結的基礎模型以 4 位儲存。論文作者用一塊 48 GB 的 GPU 微調了一個 65B 模型（QLoRA, arXiv:2305.14314），每個引數約 0.7 位元組。
- GPU 視訊記憶體
- 資料來自 NVIDIA 各 GPU 的官方頁面，連結見本站對應 GPU 頁面。
常見問題
所有 GPU 的實時價格見 GPU 價格頁面。
70B 模型需要多少 GPU 視訊記憶體？
推理部署時，16 位約需 168 GB，8 位約 84 GB，4 位約 42 GB，其中包含約 20% 用於 KV 快取和啟用值。微調時，QLoRA 約需 49 GB，LoRA 約需 168 GB，使用 Adam 全量微調約需 1,120 GB，均未計入啟用值。
能在單塊 GPU 上執行 70B 模型嗎？
可以。16 位約需 168 GB，一塊 B200 即可容納；8 位約需 84 GB，一塊 RTX PRO 6000 即可容納；4 位約需 42 GB，一塊 L40S、RTX 6000 Ada 或 RTX A6000 即可容納。
能在 RTX 4090 上微調 8B 模型嗎？
可以。使用 LoRA（約 19 GB）或 QLoRA（約 6 GB）都能放進 RTX 4090 的 24 GB 視訊記憶體。全量微調不含激活值約需 128 GB，需要一塊 H200。
為什麼微調比推理部署需要多得多的視訊記憶體？
全量微調需要儲存 16 位的權重和梯度，外加 32 位的 Adam 最佳化器狀態和一份 32 位的權重主副本，每個引數約 16 位元組（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA 凍結基礎權重，只訓練小型介面卡；QLoRA 還會把凍結的權重以 4 位儲存，論文作者藉此用一塊 48 GB 的 GPU 微調了一個 65B 模型（Dettmers et al., arXiv:2305.14314）。
租用這些表格中的 GPU 需要多少錢？
每條建議都會顯示 Arrakis 當前每 GPU 小時的最低價格。 截至 2026年10月31日 17:42 UTC，Arrakis 在 201 臺機器上共列出 686 塊 GPU。H100 的最低價格為每 GPU 小時 $1.65，RTX 4090 為每 GPU 小時 $0.41。 按租用時顯示的小時價格從預付餘額中扣費。