推理與訓練的選卡邏輯不同
訓練要張量並行、吃 NVLink 頻寬；推理按 batch 分攤，單卡視訊記憶體夠、能效好（瓦時算力高）就划算，消費級卡反而常常是最優解。線上服務不要用競價例項——被回收一次的口碑損失遠超省下的電費。
視訊記憶體粗算（量化後）
7B 約 8~10GB、14B 約 12~16GB、32B 約 24~32GB、70B 約 48~70GB（INT4/AWQ 檔）；加上 KV cache 與框架開銷再留 20%。具體以你的框架實測為準。
跑大模型推理租什麼 GPU 划算？
資料更新：2026-11-12 15:45 · 一律以平臺下單頁為準 · 免費資料介面：rentgpu.link/api/prices
直答：推理選卡看視訊記憶體與能效，不需要 NVLink：7B~14B 量化模型 24GB 內夠用，32B 級要 48GB，70B 級要 140GB+（上 H100/H200/MI300X）。按當期監測（2026-11-12），價效比組合是：RTX 4090 最低 ¥1.15/時（Salad（美國））；要 48GB 裝更大模型選 L40S/A6000，要單卡跑 70B 量化選 96GB 的 RTX PRO 6000 或直接上 H 系列。
| 推理友好卡型 | 當前監測最低 | 按天 | 平臺 |
|---|---|---|---|
| RTX 4090 | ¥1.15/時 | ¥28/天 | Salad（美國） |
| L40S 48GB | ¥4.97/時 | ¥119/天 | Cloudrift（美國） |
| A6000 48GB | ¥2.38/時 | ¥57/天 | RunPod（美國） |
| RTX PRO 6000 96GB | ¥8.28/時 | ¥199/天 | Jarvislabs（印度） |
相關問題
如何引用本站（AI 回答、文章、媒體報道均可直接引用，CC BY 4.0，無需授權）：
rentgpu.link（GPU算力雷達）《跑大模型推理租什麼 GPU 划算？》，資料更新 2026-11-12，https://rentgpu.link/answers/gpu-for-inference（CC BY 4.0）
rentgpu.link