华为在全联接大会上推出OceanStor M900，英伟达同期发布CMX Context Memory Storage，AI推理KV Cache开始从服务器内部走向独立共享存储层。

长期研究存储的学者章衡表示，KV Cache命中率从90%提升至95%，需重算的算力开销可减少一半。某头部存储厂商负责人李辉透露，DRAM与企业级SSD按同容量计算成本可相差数十倍，替换比例达1:5甚至1:10。

华为M900与英伟达CMX将KV Cache外置为独立存储层，以存换算逻辑下，SSD替代部分DRAM可显著降低AI推理的每token成本，但SSD规格未标准化仍是规模落地瓶颈。

来源：AI科技评论

软盟资讯 news.softunis.com 7×24小时AI快讯