RTX 5090 vs 4090 推理成本實測：多花 40% 的錢值不值

TL;DR 直接答案：純推理 7B~13B 模型，4090 價效比仍然碾壓 5090——5090 快 30%~40%，但租金貴 40%~60%，每千 token 成本反而更高。只有兩種情況該上 5090：① 32GB 視訊記憶體剛需（13B FP16、70B INT4）；② 搶時間做壓測/上線前驗證。

引數賬面

• RTX 4090：24GB GDDR6X，視訊記憶體頻寬 1.0TB/s，FP16 算力約 83 TFLOPS
• RTX 5090：32GB GDDR7，視訊記憶體頻寬 1.8TB/s，FP16/FP8 算力大幅提升

推理是視訊記憶體頻寬密集型任務，5090 頻寬提升 80% 是實打實的，但落到 token 吞吐上，7B 模型實測提升約 30%~40%（解碼階段被打滿頻寬之前就受限於別的環節）。

每千 token 成本怎麼算

公式很簡單：每小時租金 ÷ 每小時產出 token 數。以 7B 模型 vLLM 部署為例，4090 吞吐約 2000~3000 token/s，5090 約 2800~4000 token/s。代入實時租金：

按當前價格粗算：4090 每百萬 token 成本約 ¥0.2~0.35，5090 約 ¥0.28~0.45。純算經濟賬，4090 贏。

什麼時候 5090 反而省錢

• 13B FP16 推理：模型 26GB+，4090 的 24GB 裝不下，只能量化犧牲精度或租更貴的 A100；5090 32GB 剛好裝下，反而成了最便宜的可行解。
• 70B INT4 量化：40GB 出頭還是裝不下，但 Q2/Q3 極限量化 30GB 內可行——只有 32GB 的卡能玩。
• 限時任務：給客戶演示前兩小時發現要重跑評測，5090 快 40% 就是省 40% 的時間，這時候時間比租金貴。

結論

個人玩家和中小團隊跑 7B/8B 推理：閉眼 4090。模型超 24GB 視訊記憶體紅線再考慮 5090。兩邊價格都在實時波動，下單前看一眼上方實時表（每小時更新），哪家便宜租哪家。部分連結含推廣返傭，不影響排序。