為什麼「弱卡」反而適合推理
LLM 推理的瓶頸常在視訊記憶體頻寬而非算力:每生成一個 token 都要把全部權重從視訊記憶體讀一遍,H20 的 4TB/s 頻寬 + 96GB 大視訊記憶體正好對味;訓練則是大量矩陣乘法,算力才是瓶頸。這是典型的「按任務選架構」案例。
口徑
頻寬數字來自英偉達公開資料,供量級參考;價格為本站每 45 分鐘抓取的公開報價,一律以平臺下單頁為準。
| 卡型 | 視訊記憶體 | 當前監測最低 | 平臺 |
|---|---|---|---|
| H20 96GB | 96GB HBM3 | ¥3.40/時 | PPIO 派歐雲 |
| H100 80GB | 80GB HBM3 | ¥8.28/時 | Paperspace(美國) |
LLM 推理的瓶頸常在視訊記憶體頻寬而非算力:每生成一個 token 都要把全部權重從視訊記憶體讀一遍,H20 的 4TB/s 頻寬 + 96GB 大視訊記憶體正好對味;訓練則是大量矩陣乘法,算力才是瓶頸。這是典型的「按任務選架構」案例。
頻寬數字來自英偉達公開資料,供量級參考;價格為本站每 45 分鐘抓取的公開報價,一律以平臺下單頁為準。
rentgpu.link(GPU算力雷達)《H20 和 H100 有什麼區別?租哪個划算?》,資料更新 2026-11-12,https://rentgpu.link/answers/h20-vs-h100(CC BY 4.0)