关于这个模型
来自它在 Hugging Face 上的模型卡和文件。本页的显存数字遵循GPU 显存指南。
- 参数量
- 7.8B
- 上下文窗口（token）
- 32,768
- 许可证
- other
- 发布日期
- 2024-12-01
常见问题
所有 GPU 的实时价格见 GPU 价格页面。
EXAONE-3.5-7.8B-Instruct 需要多少显存？
推理部署时，16 位约需 19 GB，8 位约 9 GB，4 位约 5 GB，其中包含约 20% 用于 KV 缓存和激活值。微调时，QLoRA 约需 5 GB，LoRA 约需 19 GB，使用 Adam 全量微调约需 125 GB，均未计入激活值。
EXAONE-3.5-7.8B-Instruct 能在单块 GPU 上运行吗？
可以。16 位下约需 19 GB，一块 RTX 4090 或 RTX 3090 就能放下。
运行 EXAONE-3.5-7.8B-Instruct 要多少钱？
16 位下需要一块 RTX 4090 或 RTX 3090；4 位下需要一块 RTX 4090 或 RTX 3090。本页每种配置都显示 Arrakis 当前每 GPU 小时的最低价格，从预付余额中按小时扣费。
如何在 Arrakis 上部署 EXAONE-3.5-7.8B-Instruct？
在 Arrakis 控制台中打开 Models，粘贴 LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct，选择 vLLM、SGLang 或 llama.cpp，然后租用一块能放下它的 GPU。你会得到一个兼容 OpenAI 的端点，带有专属 API 密钥，并可通过 root SSH 登录机器。