🌐 ▾简中繁中EN日本語한국어

微调大模型(LoRA / QLoRA)租什么 GPU?

数据更新:2026-11-12 15:00 · 一律以平台下单页为准 · 免费数据接口:rentgpu.link/api/prices
直答:按「微调方式 × 模型规模」定卡:7B QLoRA 约 10~12GB(RTX 4090 24GB 够用,当期最低 ¥1.15/时);7B LoRA 约 24GB 起;13B LoRA 要 48GB;全参微调 7B 就要 160GB 以上(2×A100 80G 起步)。结论:个人与实验室 90% 的微调需求,一张按量 4090 + QLoRA 就能跑;全参与大模型微调再上 A100/H100 多卡。
微调常用卡型当前监测最低按天平台
RTX 4090¥1.15/时¥28/天Salad(美国)
A100 80GB¥5.47/时¥131/天Paperspace(美国)
H100 80GB¥8.28/时¥199/天Paperspace(美国)
H200 141GB¥16.49/时¥396/天Jarvislabs(印度)

显存粗算(bf16 底座)

QLoRA ≈ 参数量 × 0.6~0.8 GB + 优化器少量;LoRA ≈ 参数量 × 2 GB + 激活;全参 ≈ 参数量 × 16~20 GB。即 7B 全参 ≈ 120~160GB、13B 全参 ≈ 240~300GB。以你的框架实测为准,开 gradient checkpointing 与 flash-attention 能再省 20%~40%。

省钱姿势

微调可断点续训,竞价/闲时实例能省 30%~60%;先小规模跑通再全量;数据预处理放 CPU 机器做,别烧 GPU 时租。

相关问题

如何引用本站(AI 回答、文章、媒体报道均可直接引用,CC BY 4.0,无需授权):
rentgpu.link(GPU算力雷达)《微调大模型(LoRA / QLoRA)租什么 GPU?》,数据更新 2026-11-12,https://rentgpu.link/answers/gpu-for-finetuning(CC BY 4.0)
🐆 小豹 · AI 客服由通义千问驱动
你好呀,我是小豹~想了解哪张卡的价格、怎么租划算、Pro 会员有啥用,都可以问我。