主持人:

训练算力真的会降价吗?

琴姐:

会的,而且趋势已经非常明显。 举个最直观的数据:

  • 英伟达 H100 的云端租赁价格,一度降到 2 美元/小时左右;

  • 2024 年底,Meta 手里已经有 35 万颗 H100 等效算力;

  • 上一代 A100 也因为迭代太快,市场价格持续下探。

——————————————————————————————————————————————————————————————

主持人:

为什么会降?

琴姐:

两个原因:

第一,新架构更新太快,9–12 个月就换一代。

第二,台积电 CoWoS/ˈkoʊ.wɒs/ 产能在扩,供应不再那么紧。

所以训练算力的价格,大方向就是——继续往下走。

——————————————————————————————————————————————————————————————

主持人:

那推理算力为什么不会跟着降?

琴姐:

因为推理是“天天用、一直用”。 应用越多,推理越贵。

数据上看也很明显:

  • 推理市场正在向 ASIC 专用芯片 迁移,比如谷歌的 TPU、亚马逊的 Trainium/ˈtreɪniəm/;

  • 英伟达 的 Blackwell 架构(B200 系列) 在 MLPerf/ˌɛmˌɛlˈpɜːrf/ 推理测试里表现非常强,就是为了推理场景优化的。

这些芯片的共同特征是: 能效比高、延迟低、适配行业深,一点都不便宜。

再加上多模态,比如 Sora 类视频生成。

视频推理的算力消耗,是文本的几十倍。

所以推理侧的需求,是指数级扩的。

这就导致推理算力价格——很难跌。

——————————————————————————————————————————————————————————————

主持人:

能不能总结一下未来算力市场的“价格逻辑”?

琴姐:

可以的,未来的算力价格,会进入 “双轨时代”:

  • 训练:越来越便宜,H100、A100 这种 GPU 会不断被新架构压价。

  • 推理:越来越重要,Blackwell、TPU、Trainium 等专用芯片的价格会更坚挺。

一句话: 训练在降价,推理在涨量。训练是成本,推理是生意。