# モデルに必要な GPU メモリは？

パラメータあたりのバイト数で数えます。推論には、パラメータあたり 16 ビットで 2 バイト、8 ビットで 1 バイト、4 ビットで 0.5 バイトに加え、KV キャッシュとアクティベーション用に約 20% が必要です。ファインチューニングにははるかに多くのメモリが必要で、LoRA や QLoRA でベースモデルを固定しない限り、Adam ではパラメータあたり約 16 バイトかかります。

## モデルの推論

| モデルサイズ | 16 ビット | 8 ビット | 4 ビット |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 9.6 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 4.8 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 14B（Qwen2.5 14B） | 34 GB：[L40S](/ja/gpus/l40s.html.md)、[RTX 6000 Ada](/ja/gpus/rtx-6000-ada.html.md) または [RTX A6000](/ja/gpus/rtx-a6000.html.md) 1 枚、L40S は GPU 1 時間あたり $0.44 から | 17 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 8.4 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 32B（Qwen2.5 32B） | 77 GB：[H100](/ja/gpus/h100.html.md) または [A100](/ja/gpus/a100.html.md) 1 枚、H100 は GPU 1 時間あたり $1.65 から | 38 GB：[L40S](/ja/gpus/l40s.html.md)、[RTX 6000 Ada](/ja/gpus/rtx-6000-ada.html.md) または [RTX A6000](/ja/gpus/rtx-a6000.html.md) 1 枚、L40S は GPU 1 時間あたり $0.44 から | 19 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から |
| 70B (Llama 3.3 70B) | 168 GB：[B200](/ja/gpus/b200.html.md) 1 枚、GPU 1 時間あたり $6.79 から | 84 GB：[RTX PRO 6000](/ja/gpus/rtx-pro-6000.html.md) 1 枚、GPU 1 時間あたり $1.90 から | 42 GB：[L40S](/ja/gpus/l40s.html.md)、[RTX 6000 Ada](/ja/gpus/rtx-6000-ada.html.md) または [RTX A6000](/ja/gpus/rtx-a6000.html.md) 1 枚、L40S は GPU 1 時間あたり $0.44 から |
| 405B (Llama 3.1 405B) | 972 GB：[B300](/ja/gpus/b300.html.md) × 4、4 枚で 1 時間あたり $18.40 から | 486 GB：[B300](/ja/gpus/b300.html.md) × 2、2 枚で 1 時間あたり $9.20 から | 243 GB：[B300](/ja/gpus/b300.html.md) 1 枚、GPU 1 時間あたり $4.60 から |

## モデルのファインチューニング

数値はアクティベーションを含みません。

| モデルサイズ | QLoRA | LoRA | フルファインチューニング |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5.6 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 19 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 128 GB：[H200](/ja/gpus/h200.html.md) 1 枚、GPU 1 時間あたり $4.03 から |
| 14B（Qwen2.5 14B） | 9.8 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 34 GB：[L40S](/ja/gpus/l40s.html.md)、[RTX 6000 Ada](/ja/gpus/rtx-6000-ada.html.md) または [RTX A6000](/ja/gpus/rtx-a6000.html.md) 1 枚、L40S は GPU 1 時間あたり $0.44 から | 224 GB：[B300](/ja/gpus/b300.html.md) 1 枚、GPU 1 時間あたり $4.60 から |
| 32B（Qwen2.5 32B） | 22 GB：[RTX 4090](/ja/gpus/rtx-4090.html.md) または [RTX 3090](/ja/gpus/rtx-3090.html.md) 1 枚、RTX 3090 は GPU 1 時間あたり $0.19 から | 77 GB：[H100](/ja/gpus/h100.html.md) または [A100](/ja/gpus/a100.html.md) 1 枚、H100 は GPU 1 時間あたり $1.65 から | 512 GB：[B300](/ja/gpus/b300.html.md) × 2、2 枚で 1 時間あたり $9.20 から |
| 70B (Llama 3.3 70B) | 49 GB：[H100](/ja/gpus/h100.html.md) または [A100](/ja/gpus/a100.html.md) 1 枚、H100 は GPU 1 時間あたり $1.65 から | 168 GB：[B200](/ja/gpus/b200.html.md) 1 枚、GPU 1 時間あたり $6.79 から | 1,120 GB：[H200](/ja/gpus/h200.html.md) × 8、8 枚で 1 時間あたり $32.24 から |
| 405B (Llama 3.1 405B) | 284 GB：[H100](/ja/gpus/h100.html.md) × 4、4 枚で 1 時間あたり $6.60 から | 972 GB：[B300](/ja/gpus/b300.html.md) × 4、4 枚で 1 時間あたり $18.40 から | 6,480 GB：8 GPU マシン 1 台を超える |

## 数値の根拠

- 重み：パラメータ数 × パラメータあたりのバイト数。16 ビットで 2、8 ビットで 1、4 ビットで 0.5。
- 推論時の余裕：コンテキスト長とバッチが中程度なら、KV キャッシュとアクティベーション用に約 20% を上乗せします。
- フルファインチューニング：混合精度の Adam で 1 パラメータあたり約 16 バイト（[ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)）。
- LoRA：16 ビットのベースモデルは固定したまま。重みに約 20% を足した量を見込みます。
- QLoRA：ベースモデルを 4 ビットで固定します。著者らは 65B モデルを 48 GB の GPU 1 枚でファインチューニングしました（[arXiv:2305.14314](https://arxiv.org/abs/2305.14314)）。パラメータあたり約 0.7 バイトです。

## よくある質問

**70B モデルにはどれくらいの GPU メモリが必要ですか？** 推論には、KV キャッシュとアクティベーション用の約 20% を含めて、16 ビットで約 168 GB、8 ビットで 84 GB、4 ビットで 42 GB が必要です。ファインチューニングには、アクティベーションを除いて、QLoRA で約 49 GB、LoRA で 168 GB、Adam によるフルファインチューニングで 1,120 GB が必要です。

**70B モデルを GPU 1 枚で動かせますか？** はい。16 ビットでは約 168 GB が必要で、B200 1 枚に収まります。8 ビットでは約 84 GB で、RTX PRO 6000 1 枚に収まります。4 ビットでは約 42 GB で、L40S、RTX 6000 Ada、RTX A6000 のいずれか 1 枚に収まります。

**RTX 4090 で 8B モデルをファインチューニングできますか？** はい。LoRA（約 19 GB）や QLoRA（約 6 GB）なら、RTX 4090 の 24 GB に収まります。フルファインチューニングにはアクティベーションを除いて約 128 GB が必要なので、H200 1 枚が必要です。

**ファインチューニングには、なぜ推論よりはるかに多くのメモリが必要なのですか？** フルファインチューニングでは、16 ビットの重みと勾配に加え、32 ビットの Adam オプティマイザの状態と重みの 32 ビットのマスターコピーを保持するため、1 パラメータあたり約 16 バイトが必要です（Rajbhandari et al., ZeRO, arXiv:1910.02054）。LoRA はベースの重みを固定して小さなアダプタだけを学習します。QLoRA はさらに固定した重みを 4 ビットで保持し、著者らはこれで 65B モデルを 48 GB の GPU 1 枚でファインチューニングしました（Dettmers et al., arXiv:2305.14314）。

**これらの表にある GPU のレンタル料金はいくらですか？** 各候補には、Arrakis での現在の GPU 1 時間あたりの最安値が表示されています。 2026年10月31日 17:40 UTC 時点で、Arrakis には 201 台のマシンに 688 基の GPU が掲載されています。H100 の最安値は GPU 1 時間あたり $1.65、RTX 4090 は $0.41 です。 レンタル時に表示される時間単価を、前払い残高から支払います。


すべての GPU の最新価格：[/gpus](/ja/gpus.html.md)。