LoRA 微調最低成本方案：¥10 以內煉一個自己的模型

TL;DR 直接答案：QLoRA 微調 7B 模型，一張 24GB 的 RTX 3090/4090 按量租 3~4 小時就夠，總成本 ¥5~10。核心三招：4bit 載入模型、只訓 LoRA 介面卡、用競價例項 + checkpoint。

為什麼 LoRA 能把成本打下來

全量微調 7B 模型需要 60GB+ 視訊記憶體（模型 + Adam 最佳化器狀態 + 梯度），只能租 A100，一小時 ¥6~12。LoRA 的思路是凍結原模型、只訓練插入的低秩矩陣（引數量約 1%），QLoRA 進一步把原模型 4bit 量化載入：

• 模型本體 4bit：約 4~5GB
• LoRA 引數 + 最佳化器：約 2GB
• 啟用值（batch 8、seq 2048）：約 8~12GB
• 合計 16~20GB —— 24GB 消費卡剛好拿下

卡型選擇與實時價格

3090 是成本殺手，4090 是速度選手。兩者都能跑，按預算選：

全流程成本控制（以 Qwen2.5-7B 為例）

1. 選例項：3090 按量，競價/閒時優先（便宜 30%，可中斷）
2. 裝環境 10 分鐘：transformers + peft + bitsandbytes + trl，映象市場裡找現成的 LLM 映象更省時間
3. 資料：幾千條指令資料就夠，JSON 格式準備好傳雲盤
4. 訓練 2~3 小時：LoRA rank 16、batch 4 + 梯度累積 4、訓 2~3 個 epoch；每 500 步存一次 checkpoint（防競價例項被回收）
5. 匯出合併：merge LoRA 權重到 base 模型，下載到本地或推 HuggingFace

全程約 4 小時 × ¥1.4/時 ≈ ¥5.6，加上傳下載時間也就 ¥8 以內。

三個翻車點

• 視訊記憶體爆了先砍序列長度：seq 2048 → 1024 能省一半啟用視訊記憶體，比降 batch 更划算
• 競價例項一定開自動儲存：被回收不丟進度，重新開機載入 checkpoint 接著訓
• 別用免費額度跑正式任務：各家送的體驗金適合試環境，正式訓練用充值餘額，免得中途斷供

各平臺價格每小時都在變，上方表格是此刻的比價（每小時更新）。不確定卡夠不夠，用選型工具算一遍再下單。部分連結含推廣返傭，不影響排序。