大语言模型

材料科学智能体MatBrain以双模型协作架构引发关注：300亿参数的Mat-R1负责推理，140亿参数的Mat-T1专司工具调用，在材料性能预测等任务上综合准确率比GPT-5等千亿参数大模型提升66%，部署成本却降低95%，仅需两块NVIDIA 4090显卡即可运行。当通用大模型还在“会思考”，它已能自主调用工具验证并调整实验方案。企业评估垂直AI项目时，该从哪些维度衡量真正的落地价值？

上海人工智能实验室发布InternLumina-U2，尝试将文本、图像、视频与3D纳入同一框架，以多码本扩散架构和约160亿参数MoE模型支撑统一处理，单次推理激活参数约10亿。它或可减少多模型串联，服务内容生产、客服、工业视觉和数字孪生，但公开评测仍是初步、部分结果，企业究竟该如何验证其真实能力与部署成本？

采购AI推理基础设施不能只看芯片峰值算力，应在指定模型、并发和输入输出长度下，围绕有效吞吐、首Token时延、P95/P99、稳定性、软件兼容性、能耗与单位成本，按真实业务负载验收完整推理系统。

智能体AI服务器选型应围绕端到端任务链，而非单看峰值算力。CPU、GPU与边缘设备分别承担编排控制、模型计算和本地响应，企业还需结合延迟、吞吐、内存、能耗、成本及可运维性进行实测评估。

当 AI 从演示走向生产，问题通常不再是“模型能不能运行”，而是“这次推理应该在哪里运行”。云端拥有更大的模型和更集中的算力，边缘节点更接近数据源，终端则能够在断网或高敏感场景下保持响应。分布式 AI 的核心，不是简单地把模型从云上搬到设备…

智能体场景下，AI推理应从单卡峰值转向系统级评估。Prefill与Decode分离可分别优化TTFT和TPOT，但会引入KV Cache传输、路由、故障处理及网络开销。企业需结合上下文长度、并发、显存带宽、互连网络、分层存储与单位Token成本测试整体收益。

企业应按任务难度、响应时限、调用规模、数据敏感度和部署条件分层选型：推理模型适合科学、代码、数学等多步复杂任务，小型语言模型适合分类、抽取和端侧交互。评估需综合质量、稳定性、延迟、成本、安全与运维，并以业务任务集核算有效成本。

【软盟资讯·新闻导读】OpenAI在Hot Chips 2026展示自研推理加速器Jalapeño，并公布首批测试结果。与单纯追求峰值算力不同，这款芯片把每瓦吞吐、端到端延迟和交互式负载表现放在更核心的位置，释放出AI基础设施从通用硬件适配…

中泰证券与财跃星辰于9月10日披露共建“星璇”多智能体投研平台，通过Skill Hub整合现有工具，将金融智能体能力嵌入投研工作流。合作从单点问答转向流程协作，但平台覆盖范围、权限机制和实际效率尚未披露，项目仍待验证。

【软盟资讯·新闻导读】美国国家安全局、联邦调查局与网络安全和基础设施安全局9月8日联合发布警告，指控六家中国AI企业至少自2024年起，以工业化规模对美国模型开展知识蒸馏。事件正把大模型竞争进一步推向数据来源、模型安全与技术合规的博弈。 美…

 9月9日，市场传出重磅消息：中国大模型头部企业DeepSeek(深度求索)已委托中信证券筹备科创板首次公开发行(IPO)。软盟资讯从知情人士处核实，该消息属实。目前，中信证券已与DeepSeek方面正式接洽，并进入尽职调查阶段，但双方尚未签订正式的上市辅导协议。这一动作，标志着DeepSeek已从”融资扩张”迈入”上市筹备”的关键阶段。