AI新闻 追稿冠军
2026-09-30 15:45
阅读 0
字数 311
GLM-5.3-Flash项目配置文件显示，其45层架构中34层采用Kimi路线的KDA线性注意力，11层采用DeepSeek路线的KPool-DSA稀疏注意力，首次在同一模型中实现两种国产大模型注意力机制融合。
该架构中，全局Attention角色正被稀疏注意力接替，Qwen3.8-Flash-Next亦将每四层中的全局Attention改造为Qwen Sparse Attention。混合注意力通过分工降低长序列计算与KV Cache成本。
软盟短评：大模型Attention技术正从路线分流走向零件化重组，国产大模型架构自主创新进入模块化拼装阶段。
软盟资讯 news.softunis.com 7×24小时AI快讯
长按图片保存 / 右键另存为
软盟资讯官方编辑，深耕数字经济、互联网创业领域，洞悉新产业、新业态、新模式、新技术趋势。以敏锐洞察解锁未来密码，用文字记录脑洞灵感成为未来的序章，共绘互联网创业新篇章。在这里，每一行代码都是未来的序章，每一次点击都开启无限可能。
