按模型選卡：跑大模型需要多少視訊記憶體

引數量 → 視訊記憶體需求 → 當期在售卡型與較低時租 · 公式公開可復算 · 資料更新：2026-11-06

⚡ 直接答案：7-8B 級模型 FP16 推理約需 17GB 視訊記憶體（24GB 卡即可跑）； 70-72B 級 INT4 量化約需 42GB（80GB 卡有富餘），FP16 全精度則要 168GB（單張 MI300X 192GB 或 B200 180GB 才放得下）。按任務場景選卡用選型工具，按「同樣的錢買多少算力」看單位算力排行。

引數檔位	代表模型（同檔任選）	推理 FP16/BF16	推理 INT8	推理 INT4	全量微調（參考）
1.5B	Qwen2.5-1.5B	≈4 GB	≈2 GB	≈1 GB	≈24 GB
7-8B	Llama-3.1-8B、Qwen2.5-7B	≈17 GB	≈9 GB	≈5 GB	≈112 GB
14B	Qwen2.5-14B	≈34 GB	≈17 GB	≈9 GB	≈224 GB
32B	Qwen2.5-32B	≈77 GB	≈39 GB	≈20 GB	≈512 GB
70-72B	Llama-3.1-70B、Qwen2.5-72B	≈168 GB	≈84 GB	≈42 GB	≈1120 GB

怎麼算的？

推理視訊記憶體 ≈ 引數量 × 每引數位元組 × 1.2（乘 1.2 是給 KV cache 與執行開銷留的餘量）： FP16/BF16 每引數 2 位元組、INT8 為 1 位元組、INT4 為 0.5 位元組。

全量微調（AdamW 混合精度）≈ 引數量 × 16 位元組（權重、梯度與最佳化器狀態合計）； LoRA 微調視訊記憶體接近推理，約為推理需求的 1.2-1.5 倍；單卡放不下時多卡視訊記憶體可累加（通訊效率另算）。

這是粗估口徑：長上下文會把 KV cache 再撐大幾個 GB，不同框架與量化實現也有差異，部署前以實測為準——我們只給公式，不給「保證跑得動」的承諾。

當期滿足卡型（隨每輪行情重建）

選引數檔位與精度，列出視訊記憶體足夠且當期監測時租較低的在售卡型：

所需視訊記憶體：16.8 GB

卡型	視訊記憶體	當前較低時租	¥/TFLOPS·時	比價頁

口徑：表中「當前較低時租」與首頁比價同口徑（實時價優先，過期價僅作參考）；全量微調一欄是視訊記憶體粗估，不代表算力夠用——訓練吞吐還取決於頻寬與互聯，見單位算力排行與各卡型頁規格速覽。代表模型僅為該引數檔位的常見公開型號舉例，不構成任何推薦；卡型在售狀態與庫存以平臺下單頁為準。