微调显存需求取决于三件事:参数精度、训练方式、batch 设置。直接给答案:
7B 模型微调显存速查
· LoRA(只训适配层):16~24GB,RTX 4090 是舒适区;
· QLoRA(4bit 量化基座):12~16GB,3090/4090 都能跑;
· 全参数微调:约 80GB(权重+梯度+优化器状态 ≈ 8 倍参数量),必须 A100 80G 级或多卡 ZeRO。
租卡建议
90% 的个人微调场景(LoRA/QLoRA 7B~13B),一张 RTX 4090(24GB) 就是最优解:
| 平台 | 价格 ⇅ | 24小时 | 库存 | 计费说明 | |
|---|---|---|---|---|---|
| 算家云当前低价 | ¥1.24/时当前监测较低价按量 | ¥30/天 | 充足 | 支持按量/按天/按周/按月;镜像社区完善 | 去租用 |
| 矩池云标价竞争力 | ¥1.54/时按量 | ¥37/天 | 充足 | 实例运行中才计费;支持包日/包周/包月 | 去租用 |
| AutoDL生态最全 | ¥1.88/时按量 | ¥45/天 | 紧张 | 按秒计费,关机不计GPU费;晚高峰4090抢手 | 去租用 |
| Vast.ai(海外)全球地板价 | ¥1.90/时竞价 | ¥46/天 | 充足 | $0.27起折算;host可靠性看评分,选0.95以上 | 去租用 |
| 恒源云稳定老牌 | ¥2.00/时按量 | ¥48/天 | 充足 | 50GB免费存储,超出0.0004元/GB/小时 | 去租用 |
| 蓝耘 | ¥2.00/时按量 | ¥48/天 | 充足 | 实测稳定性较好,响应较快 | 去租用 |
| 晨涧云长租划算 | ¥2.10/时按量 | ¥50/天 | 充足 | 中低端卡充裕不用抢;包周/包月折扣力度大,长租更划算 | 去租用 |
| 优云智算现金返利 | ¥2.20/时按量 | ¥53/天 | 充足 | UCloud旗下;新用户5元赠金 | 去租用 |
| 智星云 | ¥2.50/时按量 | ¥60/天 | 充足 | 资源结构均衡,高峰期可能排队 | 去租用 |
需要全参数微调再上 A100 80G:
| 平台 | 价格 ⇅ | 24小时 | 库存 | 计费说明 | |
|---|---|---|---|---|---|
| Vast.ai(海外)全球地板价 | ¥4.60/时当前监测较低价竞价 | ¥110/天 | 充足 | $0.64起折算;好价随时消失 | 去租用 |
| 算家云当前低价 | ¥6.98/时按量 | ¥168/天 | 充足 | SXM4 80GB | 去租用 |
两个显存不够时的补救
① 开梯度检查点(gradient checkpointing):省 30~40% 显存,代价是慢 20%;② 换 4bit 量化基座(QLoRA 思路):13B 也能塞进 24GB。遇到 OOM 先调这两个,比换卡便宜。
