# De quanta memória de GPU o seu modelo precisa?

Conte os bytes por parâmetro. Para servir um modelo, são 2 bytes por parâmetro em 16 bits, 1 em 8 bits e meio byte em 4 bits, mais cerca de 20% para o cache KV e as ativações. O ajuste fino precisa de muito mais: cerca de 16 bytes por parâmetro com Adam, a menos que LoRA ou QLoRA congele o modelo base.

## Servir um modelo

| Tamanho do modelo | 16 bits | 8 bits | 4 bits |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 19 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 9,6 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 4,8 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora |
| 14B (Qwen2.5 14B) | 34 GB: uma [L40S](/pt/gpus/l40s.html.md), [RTX 6000 Ada](/pt/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/pt/gpus/rtx-a6000.html.md), a L40S a partir de US$ 0,44 por GPU-hora | 17 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 8,4 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora |
| 32B (Qwen2.5 32B) | 77 GB: uma [H100](/pt/gpus/h100.html.md) ou [A100](/pt/gpus/a100.html.md), a H100 a partir de US$ 1,65 por GPU-hora | 38 GB: uma [L40S](/pt/gpus/l40s.html.md), [RTX 6000 Ada](/pt/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/pt/gpus/rtx-a6000.html.md), a L40S a partir de US$ 0,44 por GPU-hora | 19 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora |
| 70B (Llama 3.3 70B) | 168 GB: uma [B200](/pt/gpus/b200.html.md), a partir de US$ 6,79 por GPU-hora | 84 GB: uma [RTX PRO 6000](/pt/gpus/rtx-pro-6000.html.md), a partir de US$ 1,90 por GPU-hora | 42 GB: uma [L40S](/pt/gpus/l40s.html.md), [RTX 6000 Ada](/pt/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/pt/gpus/rtx-a6000.html.md), a L40S a partir de US$ 0,44 por GPU-hora |
| 405B (Llama 3.1 405B) | 972 GB: 4 × [B300](/pt/gpus/b300.html.md), a partir de US$ 18,40 por hora pelas 4 | 486 GB: 2 × [B300](/pt/gpus/b300.html.md), a partir de US$ 9,20 por hora pelas 2 | 243 GB: uma [B300](/pt/gpus/b300.html.md), a partir de US$ 4,60 por GPU-hora |

## Ajuste fino de um modelo

Os valores não incluem as ativações.

| Tamanho do modelo | QLoRA | LoRA | Ajuste fino completo |
|---|---|---|---|
| 8B (Llama 3.1 8B) | 5,6 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 19 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 128 GB: uma [H200](/pt/gpus/h200.html.md), a partir de US$ 4,03 por GPU-hora |
| 14B (Qwen2.5 14B) | 9,8 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 34 GB: uma [L40S](/pt/gpus/l40s.html.md), [RTX 6000 Ada](/pt/gpus/rtx-6000-ada.html.md) ou [RTX A6000](/pt/gpus/rtx-a6000.html.md), a L40S a partir de US$ 0,44 por GPU-hora | 224 GB: uma [B300](/pt/gpus/b300.html.md), a partir de US$ 4,60 por GPU-hora |
| 32B (Qwen2.5 32B) | 22 GB: uma [RTX 4090](/pt/gpus/rtx-4090.html.md) ou [RTX 3090](/pt/gpus/rtx-3090.html.md), a RTX 3090 a partir de US$ 0,19 por GPU-hora | 77 GB: uma [H100](/pt/gpus/h100.html.md) ou [A100](/pt/gpus/a100.html.md), a H100 a partir de US$ 1,65 por GPU-hora | 512 GB: 2 × [B300](/pt/gpus/b300.html.md), a partir de US$ 9,20 por hora pelas 2 |
| 70B (Llama 3.3 70B) | 49 GB: uma [H100](/pt/gpus/h100.html.md) ou [A100](/pt/gpus/a100.html.md), a H100 a partir de US$ 1,65 por GPU-hora | 168 GB: uma [B200](/pt/gpus/b200.html.md), a partir de US$ 6,79 por GPU-hora | 1.120 GB: 8 × [H200](/pt/gpus/h200.html.md), a partir de US$ 32,24 por hora pelas 8 |
| 405B (Llama 3.1 405B) | 284 GB: 4 × [H100](/pt/gpus/h100.html.md), a partir de US$ 6,60 por hora pelas 4 | 972 GB: 4 × [B300](/pt/gpus/b300.html.md), a partir de US$ 18,40 por hora pelas 4 | 6.480 GB: mais de uma máquina de 8 GPUs |

## As regras por trás dos números

- Pesos: parâmetros vezes bytes por parâmetro: 2 em 16 bits, 1 em 8 bits, 0,5 em 4 bits.
- Folga para servir: cerca de 20% a mais para o cache KV e as ativações, com contexto e lote moderados.
- Ajuste fino completo: cerca de 16 bytes por parâmetro com Adam de precisão mista ([ZeRO, arXiv:1910.02054](https://arxiv.org/abs/1910.02054)).
- LoRA: o modelo base em 16 bits fica congelado; planeje os pesos mais cerca de 20%.
- QLoRA: uma base congelada em 4 bits; os autores fizeram o ajuste fino de um modelo de 65B em uma única GPU de 48 GB ([arXiv:2305.14314](https://arxiv.org/abs/2305.14314)), cerca de 0,7 byte por parâmetro.

## Perguntas

**De quanta memória de GPU um modelo de 70B precisa?** Para servir, cerca de 168 GB em 16 bits, 84 GB em 8 bits e 42 GB em 4 bits, já contando cerca de 20% para o cache KV e as ativações. Para ajuste fino, cerca de 49 GB com QLoRA, 168 GB com LoRA e 1.120 GB para ajuste fino completo com Adam, sem contar as ativações.

**Posso rodar um modelo de 70B em uma única GPU?** Sim. Em 16 bits ele precisa de cerca de 168 GB, o que cabe em uma B200; em 8 bits, cerca de 84 GB, o que cabe em uma RTX PRO 6000; em 4 bits, cerca de 42 GB, o que cabe em uma L40S, RTX 6000 Ada ou RTX A6000.

**Posso fazer ajuste fino de um modelo de 8B em uma RTX 4090?** Sim, com LoRA (cerca de 19 GB) ou QLoRA (cerca de 6 GB), que cabem nos 24 GB da RTX 4090. O ajuste fino completo precisa de cerca de 128 GB antes das ativações, ou seja, uma H200.

**Por que o ajuste fino precisa de tanto mais memória do que servir um modelo?** O ajuste fino completo mantém pesos e gradientes de 16 bits, mais os estados do otimizador Adam em 32 bits e uma cópia mestra dos pesos em 32 bits, cerca de 16 bytes por parâmetro (Rajbhandari et al., ZeRO, arXiv:1910.02054). O LoRA congela os pesos base e treina pequenos adaptadores; o QLoRA também guarda os pesos congelados em 4 bits, o que permitiu aos autores fazer o ajuste fino de um modelo de 65B em uma única GPU de 48 GB (Dettmers et al., arXiv:2305.14314).

**Quanto custa alugar as GPUs destas tabelas?** Cada sugestão mostra o menor preço por GPU-hora no Arrakis neste momento. Em 31 de out. de 2026, 17:40 UTC, o Arrakis lista 688 GPUs em 201 máquinas. O menor preço da H100 é US$ 1,65 por GPU-hora, e o da RTX 4090 é US$ 0,41 por GPU-hora. Você paga o preço por hora mostrado no momento do aluguel, debitado de um saldo pré-pago.


Preços em tempo real de todas as GPUs: [/gpus](/pt/gpus.html.md).