Arrakis / ガイド / GPU メモリ
モデルに必要な GPU メモリは？
パラメータあたりのバイト数で数えます。推論には、パラメータあたり 16 ビットで 2 バイト、8 ビットで 1 バイト、4 ビットで 0.5 バイトに加え、KV キャッシュとアクティベーション用に約 20% が必要です。ファインチューニングにははるかに多くのメモリが必要で、LoRA や QLoRA でベースモデルを固定しない限り、Adam ではパラメータあたり約 16 バイトかかります。
モデルの推論
推論でモデルを動かすのに必要なメモリと、それが載る最小の GPU 構成、Arrakis での現在の最安値。
| モデルサイズ | 16 ビット | 8 ビット | 4 ビット |
|---|---|---|---|
| 8BLlama 3.1 8B | 19 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 9.6 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 4.8 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 14BQwen2.5 14B | 34 GB：L40S、RTX 6000 Ada または RTX A6000 1 枚、L40S は GPU 1 時間あたり $0.44 から | 17 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 8.4 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 32BQwen2.5 32B | 77 GB：H100 または A100 1 枚、H100 は GPU 1 時間あたり $1.65 から | 38 GB：L40S、RTX 6000 Ada または RTX A6000 1 枚、L40S は GPU 1 時間あたり $0.44 から | 19 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 70BLlama 3.3 70B | 168 GB：B200 1 枚、GPU 1 時間あたり $6.79 から | 84 GB：RTX PRO 6000 1 枚、GPU 1 時間あたり $1.90 から | 42 GB：L40S、RTX 6000 Ada または RTX A6000 1 枚、L40S は GPU 1 時間あたり $0.44 から |
| 405BLlama 3.1 405B | 972 GB：B300 × 4、4 枚で 1 時間あたり $18.40 から | 486 GB：B300 × 2、2 枚で 1 時間あたり $9.20 から | 243 GB：B300 1 枚、GPU 1 時間あたり $4.60 から |
モデルのファインチューニング
QLoRA は 4 ビットで固定したモデルの上でアダプタを学習し、LoRA は 16 ビットで固定したモデルの上で学習します。フルファインチューニングはすべての重みを更新します。数値はアクティベーションを含まない値で、アクティベーションはバッチサイズとシーケンス長に応じて増えます。
| モデルサイズ | QLoRA | LoRA | フルファインチューニング |
|---|---|---|---|
| 8BLlama 3.1 8B | 5.6 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 19 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 128 GB：H200 1 枚、GPU 1 時間あたり $4.03 から |
| 14BQwen2.5 14B | 9.8 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 34 GB：L40S、RTX 6000 Ada または RTX A6000 1 枚、L40S は GPU 1 時間あたり $0.44 から | 224 GB：B300 1 枚、GPU 1 時間あたり $4.60 から |
| 32BQwen2.5 32B | 22 GB：RTX 4090 または RTX 3090 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 77 GB：H100 または A100 1 枚、H100 は GPU 1 時間あたり $1.65 から | 512 GB：B300 × 2、2 枚で 1 時間あたり $9.20 から |
| 70BLlama 3.3 70B | 49 GB：H100 または A100 1 枚、H100 は GPU 1 時間あたり $1.65 から | 168 GB：B200 1 枚、GPU 1 時間あたり $6.79 から | 1,120 GB：H200 × 8、8 枚で 1 時間あたり $32.24 から |
| 405BLlama 3.1 405B | 284 GB：H100 × 4、4 枚で 1 時間あたり $6.60 から | 972 GB：B300 × 4、4 枚で 1 時間あたり $18.40 から | 6,480 GB：8 GPU マシン 1 台を超える |
数値の根拠
GPU 選びには十分な目安です。長時間のジョブの前には実測してください。
- 重み
- パラメータ数 × パラメータあたりのバイト数。16 ビット（BF16 または FP16）で 2、8 ビット（FP8 または INT8）で 1、4 ビットで 0.5。
- 推論時の余裕
- コンテキスト長とバッチが中程度なら、KV キャッシュとアクティベーション用に約 20% を上乗せします。長いコンテキストや大きなバッチでは、さらに多く必要です。
- フルファインチューニング
- 混合精度の Adam では、パラメータあたり約 16 バイトが必要です。内訳は重み、勾配、オプティマイザの状態、32 ビットのマスターコピーです（ZeRO, arXiv:1910.02054）。FSDP や ZeRO で複数の GPU に分割できます。
- LoRA
- 16 ビットのベースモデルは固定したまま、小さなアダプタだけを学習します。重みに約 20% を足した量を見込んでください。
- QLoRA
- 固定したベースモデルを 4 ビットで保持します。著者らは 65B モデルを 48 GB の GPU 1 枚でファインチューニングしました（QLoRA, arXiv:2305.14314）。パラメータあたり約 0.7 バイトです。
- GPU メモリ
- NVIDIA の各 GPU のページの公表値です。各 GPU のページからリンクしています。
よくある質問
すべての GPU の最新価格は GPU 価格 のページにあります。
70B モデルにはどれくらいの GPU メモリが必要ですか？
推論で動かすには、16 ビットで約 168 GB、8 ビットで約 84 GB、4 ビットで約 42 GB です。KV キャッシュと活性化の分として約 20% を含みます。ファインチューニングには、QLoRA で約 49 GB、LoRA で約 168 GB、Adam によるフルファインチューニングで約 1,120 GB が必要です（活性化を除く）。
70B モデルを GPU 1 枚で動かせますか？
はい。16 ビットでは約 168 GB が必要で、B200 1 枚に収まります。8 ビットでは約 84 GB で、RTX PRO 6000 1 枚に収まります。4 ビットでは約 42 GB で、L40S、RTX 6000 Ada、RTX A6000 のいずれか 1 枚に収まります。
RTX 4090 で 8B モデルをファインチューニングできますか？
はい。LoRA（約 19 GB）や QLoRA（約 6 GB）なら、RTX 4090 の 24 GB に収まります。フルファインチューニングにはアクティベーションを除いて約 128 GB が必要なので、H200 1 枚が必要です。
ファインチューニングには、なぜ推論よりはるかに多くのメモリが必要なのですか？
フルファインチューニングでは、16 ビットの重みと勾配に加え、32 ビットの Adam オプティマイザの状態と重みの 32 ビットのマスターコピーを保持するため、1 パラメータあたり約 16 バイトが必要です（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA はベースの重みを固定して小さなアダプタだけを学習します。QLoRA はさらに固定した重みを 4 ビットで保持し、著者らはこれで 65B モデルを 48 GB の GPU 1 枚でファインチューニングしました（Dettmers et al., arXiv:2305.14314）。
これらの表にある GPU のレンタル料金はいくらですか？
各候補には、Arrakis での現在の GPU 1 時間あたりの最安値が表示されています。 2026年10月31日 17:40 UTC 時点で、Arrakis には 200 台のマシンに 687 基の GPU が掲載されています。H100 の最安値は GPU 1 時間あたり $1.65、RTX 4090 は $0.41 です。 レンタル時に表示される時間単価を、前払い残高から支払います。