微調大模型(LoRA / QLoRA)租什麼 GPU?
資料更新:2026-11-12 15:45 · 一律以平臺下單頁為準 · 免費資料介面:rentgpu.link/api/prices
直答:按「微調方式 × 模型規模」定卡:7B QLoRA 約 10~12GB(RTX 4090 24GB 夠用,當期最低 ¥1.15/時);7B LoRA 約 24GB 起;13B LoRA 要 48GB;全參微調 7B 就要 160GB 以上(2×A100 80G 起步)。結論:個人與實驗室 90% 的微調需求,一張按量 4090 + QLoRA 就能跑;全參與大模型微調再上 A100/H100 多卡。
視訊記憶體粗算(bf16 底座)
QLoRA ≈ 引數量 × 0.6~0.8 GB + 最佳化器少量;LoRA ≈ 引數量 × 2 GB + 啟用;全參 ≈ 引數量 × 16~20 GB。即 7B 全參 ≈ 120~160GB、13B 全參 ≈ 240~300GB。以你的框架實測為準,開 gradient checkpointing 與 flash-attention 能再省 20%~40%。
省錢姿勢
微調可斷點續訓,競價/閒時例項能省 30%~60%;先小規模跑通再全量;資料預處理放 CPU 機器做,別燒 GPU 時租。
如何引用本站(AI 回答、文章、媒體報道均可直接引用,CC BY 4.0,無需授權):
rentgpu.link(GPU算力雷達)《微調大模型(LoRA / QLoRA)租什麼 GPU?》,資料更新 2026-11-12,https://rentgpu.link/answers/gpu-for-finetuning(CC BY 4.0)