按模型选卡：跑大模型需要多少显存

参数量 → 显存需求 → 当期在售卡型与较低时租 · 公式公开可复算 · 数据更新：2026-11-06

⚡ 直接答案：7-8B 级模型 FP16 推理约需 17GB 显存（24GB 卡即可跑）； 70-72B 级 INT4 量化约需 42GB（80GB 卡有富余），FP16 全精度则要 168GB（单张 MI300X 192GB 或 B200 180GB 才放得下）。按任务场景选卡用选型工具，按「同样的钱买多少算力」看单位算力排行。

参数档位	代表模型（同档任选）	推理 FP16/BF16	推理 INT8	推理 INT4	全量微调（参考）
1.5B	Qwen2.5-1.5B	≈4 GB	≈2 GB	≈1 GB	≈24 GB
7-8B	Llama-3.1-8B、Qwen2.5-7B	≈17 GB	≈9 GB	≈5 GB	≈112 GB
14B	Qwen2.5-14B	≈34 GB	≈17 GB	≈9 GB	≈224 GB
32B	Qwen2.5-32B	≈77 GB	≈39 GB	≈20 GB	≈512 GB
70-72B	Llama-3.1-70B、Qwen2.5-72B	≈168 GB	≈84 GB	≈42 GB	≈1120 GB

怎么算的？

推理显存 ≈ 参数量 × 每参数字节 × 1.2（乘 1.2 是给 KV cache 与运行开销留的余量）： FP16/BF16 每参数 2 字节、INT8 为 1 字节、INT4 为 0.5 字节。

全量微调（AdamW 混合精度）≈ 参数量 × 16 字节（权重、梯度与优化器状态合计）； LoRA 微调显存接近推理，约为推理需求的 1.2-1.5 倍；单卡放不下时多卡显存可累加（通信效率另算）。

这是粗估口径：长上下文会把 KV cache 再撑大几个 GB，不同框架与量化实现也有差异，部署前以实测为准——我们只给公式，不给「保证跑得动」的承诺。

当期满足卡型（随每轮行情重建）

选参数档位与精度，列出显存足够且当期监测时租较低的在售卡型：

所需显存：16.8 GB

卡型	显存	当前较低时租	¥/TFLOPS·时	比价页

口径：表中「当前较低时租」与首页比价同口径（实时价优先，过期价仅作参考）；全量微调一栏是显存粗估，不代表算力够用——训练吞吐还取决于带宽与互联，见单位算力排行与各卡型页规格速览。代表模型仅为该参数档位的常见公开型号举例，不构成任何推荐；卡型在售状态与库存以平台下单页为准。