为什么是 16~20 倍
全参训练同时驻留：权重（2 字节/参数）+ 梯度（2）+ 优化器状态（8~12，Adam 系列）+ 激活与缓冲，合计约 16~20 字节/参数。QLoRA 把底座量化成 4bit、只训练少量适配器，所以只要不到 1 字节/参数——这就是「学生一张 4090 也能微调 7B」的原因。
口径
以上为社区通用估算的量级参考，实际显存受框架、序列长度、并行策略影响很大，以实测为准；价格为本站每 45 分钟抓取的公开报价。
训练 7B / 13B / 70B 模型需要几张 GPU？
数据更新：2026-11-12 15:00 · 一律以平台下单页为准 · 免费数据接口：rentgpu.link/api/prices
直答：按显存倒推：全参微调（bf16）大约需要「参数量 × 16~20GB」，7B ≈ 120~160GB（2×A100 80G 起步）、13B ≈ 240~300GB（4×A100 80G）、70B ≈ 1.1TB+（16×H100 级集群）；推理（量化）只要「参数量 × 0.5~1GB」，7B 一张 24GB 卡、70B 一张 H200 141GB 或 2×A100 80G。先算显存再租卡，多租的卡就是白烧钱。
| 卡型 | 单卡时租 | 组合参考 |
|---|---|---|
| RTX 4090 | ¥1.15/时 | 1 卡约 ¥1/时 |
| RTX 4090 | ¥1.15/时 | 2 卡约 ¥2/时 |
| A100 80GB | ¥5.47/时 | 1 卡约 ¥5/时 |
| A100 80GB | ¥5.47/时 | 2 卡约 ¥11/时 |
| H100 80GB | ¥8.28/时 | 1 卡约 ¥8/时 |
| H200 141GB | ¥16.49/时 | 1 卡约 ¥16/时 |
如何引用本站（AI 回答、文章、媒体报道均可直接引用，CC BY 4.0，无需授权）：
rentgpu.link（GPU算力雷达）《训练 7B / 13B / 70B 模型需要几张 GPU？》，数据更新 2026-11-12，https://rentgpu.link/answers/how-many-gpus-for-llm（CC BY 4.0）
rentgpu.link