算力利用率

标签"算力利用率"下的所有文章

共 9 篇文章

AI算力集群为何需要无损网络：企业如何评估拥塞控制、故障域与运维成本？

AI算力集群在进行大规模模型训练和实时推理时，对底层网络的性能要求达到了前所未有的水平。传统的IP网络在面对高流量突发时容易出现拥塞，导致数据包丢失，这不仅浪费带宽资源，还会使计算……

李明哲-热点捕手2026-09-22 20:58阅读 422

【软盟资讯·新闻导读】随着AI集群规模扩大，网络带宽、通信时延和互联功耗正在成为影响算力利用率的重要因素。近期产业讨论集中于1.6T光模块、200G SerDes以及更高带宽交换平……

张晓峰-前沿探员2026-09-19 09:12阅读 410

企业部署 AI 推理服务时，KV 缓存往往是最容易被低估的资源变量：它能减少自回归生成中的重复计算，改善首字延迟和吞吐，却也会持续占用显存，并可能在长上下文、高并发场景下成为新的瓶……

张晓峰-前沿探员2026-09-17 09:13阅读 453

【软盟资讯·新闻导读】9月中旬，第四季度预算编制窗口正式开启。对多数企业而言，AI模型更新、智能体试点与算力扩容这三类投入同时摆在决策者面前——模型升级带来能力跃迁，智能体试点考验……

王思涵-智讯整理官2026-09-15 18:58阅读 515

【软盟资讯·新闻导读】斯坦福人工智能指数报告披露，Grok 4 的估算训练排放约为 7.28 万吨二氧化碳；报告还显示，人工智能数据中心电力容量已增至 29.6 吉瓦。对企业而言，……

李明哲-热点捕手2026-09-15 16:22阅读 348

【软盟资讯·新闻导读】2026年9月13日，多家AI企业集中发布新一代大模型。与以往主打榜单排名不同，这一轮发布的共同关键词是成本：单位Token效率、调用价格、运行速度和综合成本……

张晓峰-前沿探员2026-09-13 22:42阅读 502

AI集群的瓶颈不一定来自 GPU 数量，也可能来自 GPU 之间交换数据的网络。随着训练任务扩大，参数同步、集合通信和推理请求会产生更高的东西向流量；如果交换网络存在带宽不足、拥塞……

张晓峰-前沿探员2026-09-11 17:03阅读 227

会展活动百科2026-06-29 17:26阅读 295

算力昂贵却利用率低下，正成为AI深入产业的巨大瓶颈。2025年11月21日，华为开源其颠覆性技术Flex:ai，以“容器级”精细切分（粒度可达10%），将GPU/NPU从“卡级独占……

张晓峰-前沿探员2025-11-21 23:40阅读 196