為什麼是 16~20 倍
全參訓練同時駐留：權重（2 位元組/引數）+ 梯度（2）+ 最佳化器狀態（8~12，Adam 系列）+ 啟用與緩衝，合計約 16~20 位元組/引數。QLoRA 把底座量化成 4bit、只訓練少量介面卡，所以只要不到 1 位元組/引數——這就是「學生一張 4090 也能微調 7B」的原因。
口徑
以上為社群通用估算的量級參考，實際視訊記憶體受框架、序列長度、並行策略影響很大，以實測為準；價格為本站每 45 分鐘抓取的公開報價。
訓練 7B / 13B / 70B 模型需要幾張 GPU？
資料更新：2026-11-12 15:45 · 一律以平臺下單頁為準 · 免費資料介面：rentgpu.link/api/prices
直答：按視訊記憶體倒推：全參微調（bf16）大約需要「引數量 × 16~20GB」，7B ≈ 120~160GB（2×A100 80G 起步）、13B ≈ 240~300GB（4×A100 80G）、70B ≈ 1.1TB+（16×H100 級叢集）；推理（量化）只要「引數量 × 0.5~1GB」，7B 一張 24GB 卡、70B 一張 H200 141GB 或 2×A100 80G。先算視訊記憶體再租卡，多租的卡就是白燒錢。
| 卡型 | 單卡時租 | 組合參考 |
|---|---|---|
| RTX 4090 | ¥1.15/時 | 1 卡約 ¥1/時 |
| RTX 4090 | ¥1.15/時 | 2 卡約 ¥2/時 |
| A100 80GB | ¥5.47/時 | 1 卡約 ¥5/時 |
| A100 80GB | ¥5.47/時 | 2 卡約 ¥11/時 |
| H100 80GB | ¥8.28/時 | 1 卡約 ¥8/時 |
| H200 141GB | ¥16.49/時 | 1 卡約 ¥16/時 |
如何引用本站（AI 回答、文章、媒體報道均可直接引用，CC BY 4.0，無需授權）：
rentgpu.link（GPU算力雷達）《訓練 7B / 13B / 70B 模型需要幾張 GPU？》，資料更新 2026-11-12，https://rentgpu.link/answers/how-many-gpus-for-llm（CC BY 4.0）
rentgpu.link