按模型选卡:跑大模型需要多少显存
参数量 → 显存需求 → 当期在售卡型与较低时租 · 公式公开可复算 · 数据更新:2026-11-18
⚡ 直接答案:7-8B 级模型 FP16 推理约需 17GB 显存(24GB 卡即可跑);
70-72B 级 INT4 量化约需 42GB(80GB 卡有富余),FP16 全精度则要 168GB(单张 MI300X 192GB 或 B200 180GB 才放得下)。
按任务场景选卡用选型工具,按「同样的钱买多少算力」看单位算力排行。
| 参数档位 | 代表模型(同档任选) | 推理 FP16/BF16 | 推理 INT8 | 推理 INT4 | 全量微调(参考) |
|---|---|---|---|---|---|
| 1.5B | Qwen2.5-1.5B | ≈4 GB | ≈2 GB | ≈1 GB | ≈24 GB |
| 7-8B | Llama-3.1-8B、Qwen2.5-7B | ≈17 GB | ≈9 GB | ≈5 GB | ≈112 GB |
| 14B | Qwen2.5-14B | ≈34 GB | ≈17 GB | ≈9 GB | ≈224 GB |
| 32B | Qwen2.5-32B | ≈77 GB | ≈39 GB | ≈20 GB | ≈512 GB |
| 70-72B | Llama-3.1-70B、Qwen2.5-72B | ≈168 GB | ≈84 GB | ≈42 GB | ≈1120 GB |
怎么算的?
推理显存 ≈ 参数量 × 每参数字节 × 1.2(乘 1.2 是给 KV cache 与运行开销留的余量): FP16/BF16 每参数 2 字节、INT8 为 1 字节、INT4 为 0.5 字节。
全量微调(AdamW 混合精度)≈ 参数量 × 16 字节(权重、梯度与优化器状态合计); LoRA 微调显存接近推理,约为推理需求的 1.2-1.5 倍;单卡放不下时多卡显存可累加(通信效率另算)。
这是粗估口径:长上下文会把 KV cache 再撑大几个 GB,不同框架与量化实现也有差异, 部署前以实测为准——我们只给公式,不给「保证跑得动」的承诺。
当期满足卡型(随每轮行情重建)
选参数档位与精度,列出显存足够且当期监测时租较低的在售卡型:
所需显存:16.8 GB
| 卡型 | 显存 | 当前较低时租 | ¥/TFLOPS·时 | 比价页 |
|---|
口径:表中「当前较低时租」与首页比价同口径(实时价优先,过期价仅作参考);
全量微调一栏是显存粗估,不代表算力够用——训练吞吐还取决于带宽与互联,见单位算力排行与各卡型页规格速览。
代表模型仅为该参数档位的常见公开型号举例,不构成任何推荐;卡型在售状态与库存以平台下单页为准。

rentgpu.link