2026年10月7日，The Information举办专题讨论，英伟达、Uber、Nebius等企业分享提升单位算力token产出效率的落地实践。

Nebius首席营收官Marc Boroditsky表示，其Token Factory平台采用推测解码技术，利用客户自身流量优化结果；英伟达Dynamo平台通过定位KV缓存中已计算数据，避免重复计算。Uber基础设施副总裁Mattie Toia透露，近几个月其token成本已趋稳。

推测解码与KV缓存复用等AI大模型推理优化手段，正将行业焦点从抢购GPU转向深挖存量算力价值，企业部署大模型的门槛有望降低。

来源：权威科技媒体

软盟资讯 news.softunis.com 7×24小时AI快讯