主持人:
训练算力真的会降价吗?
琴姐:
会的,而且趋势已经非常明显。 举个最直观的数据:
英伟达 H100 的云端租赁价格,一度降到 2 美元/小时左右;
2024 年底,Meta 手里已经有 35 万颗 H100 等效算力;
上一代 A100 也因为迭代太快,市场价格持续下探。
——————————————————————————————————————————————————————————————
主持人:
为什么会降?
琴姐:
两个原因:
第一,新架构更新太快,9–12 个月就换一代。
第二,台积电 CoWoS/ˈkoʊ.wɒs/ 产能在扩,供应不再那么紧。
所以训练算力的价格,大方向就是——继续往下走。
——————————————————————————————————————————————————————————————
主持人:
那推理算力为什么不会跟着降?
琴姐:
因为推理是“天天用、一直用”。 应用越多,推理越贵。
数据上看也很明显:
推理市场正在向 ASIC 专用芯片 迁移,比如谷歌的 TPU、亚马逊的 Trainium/ˈtreɪniəm/;
英伟达 的 Blackwell 架构(B200 系列) 在 MLPerf/ˌɛmˌɛlˈpɜːrf/ 推理测试里表现非常强,就是为了推理场景优化的。
这些芯片的共同特征是: 能效比高、延迟低、适配行业深,一点都不便宜。
再加上多模态,比如 Sora 类视频生成。
视频推理的算力消耗,是文本的几十倍。
所以推理侧的需求,是指数级扩的。
这就导致推理算力价格——很难跌。
——————————————————————————————————————————————————————————————
主持人:
能不能总结一下未来算力市场的“价格逻辑”?
琴姐:
可以的,未来的算力价格,会进入 “双轨时代”:
训练:越来越便宜,H100、A100 这种 GPU 会不断被新架构压价。
推理:越来越重要,Blackwell、TPU、Trainium 等专用芯片的价格会更坚挺。
一句话: 训练在降价,推理在涨量。训练是成本,推理是生意。