为什么「弱卡」反而适合推理
LLM 推理的瓶颈常在显存带宽而非算力:每生成一个 token 都要把全部权重从显存读一遍,H20 的 4TB/s 带宽 + 96GB 大显存正好对味;训练则是大量矩阵乘法,算力才是瓶颈。这是典型的「按任务选架构」案例。
口径
带宽数字来自英伟达公开资料,供量级参考;价格为本站每 45 分钟抓取的公开报价,一律以平台下单页为准。
| 卡型 | 显存 | 当前监测最低 | 平台 |
|---|---|---|---|
| H20 96GB | 96GB HBM3 | ¥3.40/时 | PPIO 派欧云 |
| H100 80GB | 80GB HBM3 | ¥8.28/时 | Paperspace(美国) |
LLM 推理的瓶颈常在显存带宽而非算力:每生成一个 token 都要把全部权重从显存读一遍,H20 的 4TB/s 带宽 + 96GB 大显存正好对味;训练则是大量矩阵乘法,算力才是瓶颈。这是典型的「按任务选架构」案例。
带宽数字来自英伟达公开资料,供量级参考;价格为本站每 45 分钟抓取的公开报价,一律以平台下单页为准。
rentgpu.link(GPU算力雷达)《H20 和 H100 有什么区别?租哪个划算?》,数据更新 2026-11-12,https://rentgpu.link/answers/h20-vs-h100(CC BY 4.0)