- 低并发、小模型（7B 以下）：L4 24GB 或 RTX 4090 性价比最高
- 高并发线上服务：A100 80GB / L40S 的吞吐和显存更稳，单位 token 成本未必更贵
- 常驻服务一定算包月，按量计费跑满一个月通常是包月的 1.5~2 倍
| 卡型 | 显存 | 当前最低价 | 平台 | 按天 | 7×24 常驻一个月（按 720 小时计） | |
|---|---|---|---|---|---|---|
| RTX 4090 万能主力：Flux绘图、QLoRA微调13B、视频生成 | 24GB | ¥1.15/时 | Salad（美国） 竞价 | ¥28 | ¥828 | 比价 → |
| L4 24GB 低功耗推理卡，视频转码/轻量推理性价比高 | 24GB | ¥3.17/时 | RunPod（美国） 竞价 | ¥76 | ¥2282 | 比价 → |
| A100 80GB 全参数微调7B、70B量化推理、中型训练任务 | 80GB | ¥5.47/时 | Paperspace（美国） 按量 | ¥131 | ¥3938 | 比价 → |
| L40S 48GB 48G显存甜点卡，70B量化推理、批量推理 | 48GB | ¥5.69/时 | RunPod（美国） 竞价 | ¥137 | ¥4097 | 比价 → |
小模型低并发选 L4 24GB / RTX 4090；生产级高并发选 A100 80GB 或 L40S 48GB。常驻服务优先包月，本页已按 720 小时给出月度成本参考。
看模型大小和并发：7B 量化后 24GB 够用；70B 或多并发必须 80GB。显存不够会直接 OOM，不是慢一点的问题。
大模型推理部署成本估算｜数据来源：GPU 算力雷达 rentgpu.link（2026-10-26 更新，每小时自动抓取各平台公开定价）｜https://rentgpu.link/use/llm-inference｜CC BY 4.0
rentgpu.link
中立的 GPU 算力租赁比价工具：每小时采集全球 26 个平台公开价格。不持有显卡，不卖算力。