北京提出建设词元工厂：企业如何理解算力与大模型之间的新基础设施层？

【软盟资讯·新闻导读】北京发布《北京市加快词元经济发展的行动方案（2026—2028年）》，提出高标准建设词元工厂，并推动词元分发平台纳入新型基础设施布局。对企业而言，这一信号的重点不只是增加算力，而是让算力、模型与应用之间出现更清晰的中间服务层。未来评估AI基础设施，不能只看芯片数量，还要看资源调度、模型调用、数据处理、服务质量和成本核算能力。

先厘清：词元经济不等于“卖词元”

词元（Token）是大模型处理文本、代码以及部分多模态信息时使用的基本计算单位。用户输入一段问题，系统需要先把内容拆分为模型能够处理的词元；模型生成回答时，也会持续输出新的词元。一次调用的输入词元、输出词元以及上下文长度，都会影响推理资源消耗、响应时间和服务成本。

因此，所谓“词元经济”，更接近围绕词元生产、处理、分发、调用和计量形成的一套产业与技术体系。它把过去较为笼统的“大模型调用量”，进一步拆解为可以被调度、计量和优化的资源单位。

但需要注意，词元不是像电力或商品一样独立存在的标准化实体。不同模型的分词器不同，同一句话在不同模型中可能对应不同数量的词元；输入词元与输出词元的计算特征也不完全相同。企业在制定成本和性能指标时，不能简单把词元数量等同于统一的算力消耗。

“词元工厂”更像一套推理生产系统

从技术架构看，词元工厂不是把词元“制造”出来的单一设备，而是将计算资源、模型服务、推理框架、数据处理和运维能力组织起来，为持续产生大规模模型输出提供稳定环境。

可以将它拆成四个层次：

1. 算力资源层：包括服务器、加速芯片、存储、网络和数据中心能源等基础资源。
2. 推理运行层：负责模型加载、显存管理、批处理、并行计算、请求排队和推理执行。
3. 中间服务层：负责任务调度、模型路由、数据预处理、上下文管理、服务编排、限流和计费。
4. 模型应用层：面向客服、办公、研发、搜索、智能体和行业业务，提供具体功能。

传统企业采购AI能力时，往往重点关注“有多少张卡”“模型参数规模多大”或“单次调用价格多少”。词元工厂的概念则把关注点转向一条完整的生产链：算力能否稳定转化为有效推理服务，推理服务能否被不同应用高效调用，调用结果能否被准确计量和持续优化。

为什么中间服务层会成为基础设施的一部分

北京行动方案提出高标准建设词元工厂，并推动词元分发平台纳入新型基础设施布局。对企业技术团队来说，这不应被理解为简单增加一个平台产品，而是说明模型与算力之间的“连接层”正在承担越来越多的基础能力。

一是算力资源从静态采购转向动态调度

大模型工作负载具有明显波动。在线问答关注低延迟，批量内容生成关注吞吐量，智能体任务可能持续运行较长时间，训练、微调和推理又会争用不同类型的资源。

中间服务层需要根据任务类型选择资源池和调度策略，例如：

• 将低延迟请求分配到响应更快的推理实例；
• 将批量任务安排到成本更低的闲时资源；
• 根据模型规模、上下文长度和并发量进行容量预测；
• 在多云、混合云或异构芯片环境中进行资源编排；
• 对高优先级业务设置保障配额，避免被突发流量挤占。

这意味着企业不能只问“算力够不够”，还要问“算力能否按照业务优先级被正确使用”。

二是模型调用从单一接口转向模型路由

实际应用很少永远使用同一个模型。简单分类、摘要、改写任务可能适合小模型；复杂推理、代码生成或长上下文分析，可能需要更强的模型；涉及敏感数据的场景，还可能要求私有化部署。

中间服务层可以提供统一调用接口，根据任务类型、数据等级、响应时延和预算进行模型路由。应用系统不必与某个模型的接口、版本和部署地址深度绑定，后续切换模型时也能减少改造范围。

不过，统一接口并不等于完全兼容。不同模型在上下文窗口、工具调用格式、结构化输出、函数调用和多模态输入方面可能存在差异。企业应在路由层建立能力标签和兼容性测试，而不是仅凭接口形式判断“可以替换”。

三是数据处理成为推理链路的重要环节

企业使用大模型，通常还要经过文档解析、脱敏、切片、向量检索、上下文拼接和结果校验等步骤。这些工作会直接影响输入词元数量、推理延迟和输出质量。

例如，检索系统一次性拼接过多文档，可能导致上下文膨胀；文档切片过细，又可能增加检索次数和调用开销。中间服务层需要把数据处理与模型调用统一编排，对输入长度、重复内容、缓存命中和检索结果进行管理。

因此，词元优化并不只是压缩文字。它还涉及提示词设计、上下文治理、缓存策略、检索范围和结果复用。

企业应重点评估四种架构能力

1. 架构成熟度：有没有统一的推理服务入口

初期项目常见做法是每个业务团队单独接入一个模型、单独部署一套推理服务。这样上线较快，但容易形成模型接口分散、资源利用率不均、成本无法汇总的问题。

企业可以先检查三个问题：

• 是否有统一的模型调用网关；
• 是否能够管理公有云、私有化和本地部署的多类模型；
• 是否能够对模型、版本、提示词和工具调用进行生命周期管理。

如果这些能力尚未建立，不宜直接大规模采购专用算力。先建设统一接入和服务治理能力，通常更有利于后续扩展。

2. 兼容性：能否跨模型、跨芯片和跨部署环境运行

兼容性至少包含三个维度：

• 模型兼容性：输入输出格式、上下文长度、工具调用和结构化结果是否一致；
• 运行时兼容性：推理框架、算子、量化方式和加速库是否适配目标芯片；
• 应用兼容性：上层应用切换模型后，业务流程、质量标准和安全策略是否仍然有效。

企业选型时，应建立一组真实业务测试集，覆盖短问答、长文档、结构化输出、并发请求和异常重试，而不是只依据厂商提供的单项峰值指标。对于国产芯片、不同推理框架和多种模型组合，也应通过实际适配测试确认性能和稳定性。

3. 可观测性：能否解释一次调用为什么变慢、变贵

大模型服务的监控不能只看CPU、显存和网络利用率。至少还应记录：

• 输入词元数和输出词元数；
• 首词元响应时间与整体响应时间；
• 请求排队时间、推理时间和重试次数；
• 不同模型、租户、应用和业务线的调用量；
• 缓存命中率、上下文长度和失败原因；
• 单次请求成本及其变化趋势。

其中，“每个词元的成本”只能作为基础指标，不能替代业务成本。一次调用是否产生有效结果、是否需要人工复核、是否触发多轮智能体任务，都可能影响最终投入产出比。

4. 成本核算：从买卡成本转向单位业务成本

企业不应只比较芯片采购价或云服务单价，而应建立分层成本模型：

[ 单次业务成本 = 算力成本 + 存储与网络成本 + 数据处理成本 + 平台运维成本 + 人工与安全成本 ]

在此基础上，再按有效业务结果进行核算。例如，客服场景可以关注一次有效解决的咨询成本，研发场景可以关注一次通过审核的代码任务成本，文档场景可以关注一份完成质量检查的材料成本。

词元数量适合用于追踪推理资源消耗，但最终决策仍应回到业务指标。单纯追求更低的词元单价，可能导致模型能力不足、重试增加，反而推高总成本。

对算力采购和应用部署的三个影响

算力采购将更重视弹性与适配

如果企业的业务负载尚未稳定，直接建设固定规模的专用算力，可能面临利用率不足或扩容困难。更稳妥的方式是先区分在线推理、批量推理、训练微调和智能体长任务，再决定哪些资源自建、哪些资源采用云上或外部服务。

采购指标也应从单一峰值性能扩展到有效吞吐、延迟稳定性、模型适配范围、故障恢复和资源隔离能力。

平台架构需要把模型依赖“隔离”出来

应用不应直接绑定某个模型服务的内部地址和专有参数。企业可以在应用与模型之间增加统一网关，集中处理认证、路由、限流、缓存、审计和计量。

这样做的价值不是追求复杂架构，而是降低模型变化对业务系统的冲击。当模型版本、部署位置或算力供应商发生变化时，应用能够保持相对稳定。

部署方式需要按数据与时延分层

涉及敏感数据、强实时交互或稳定性要求较高的业务，可能更适合私有化或本地部署；对峰值弹性要求高、数据敏感度较低的任务，则可以考虑云上资源或混合架构。

企业还应为模型降级、服务熔断和人工接管设计预案。大模型服务不是普通接口，出现资源不足、模型异常或输出不符合要求时，业务必须能够安全退回备用模型、规则引擎或人工流程。

一个可执行的评估顺序

企业可以按照以下顺序推进，而不是先从购买设备开始：

1. 盘点业务负载：统计请求量、并发、输入输出长度、时延要求和数据敏感级别。
2. 建立基准测试集：使用真实脱敏数据，覆盖主要任务类型和异常场景。
3. 测算单位成本：分别核算模型调用、数据处理、平台和运维成本。
4. 搭建统一网关：先解决模型接入、身份认证、路由、计量和审计问题。
5. 进行异构适配：测试不同模型、推理框架、芯片和部署环境的组合。
6. 完善监控与治理：把词元、延迟、质量、成本和故障关联起来。
7. 再决定算力结构：根据稳定负载、峰值弹性和数据要求配置自建、托管或混合资源。

这套顺序的核心，是避免把“有算力”误认为“有AI生产能力”。只有算力能够被调度，模型能够被稳定调用，数据能够被有效处理，成本和质量能够被持续观察，基础设施投资才真正服务于业务。

【软盟观察】

北京提出建设词元工厂，并将词元分发平台纳入新型基础设施布局，释放出的技术信号是：AI基础设施的竞争重点正在从单纯扩充算力，转向提升算力到模型服务、再到业务应用之间的转化效率。对企业来说，这并不意味着所有组织都需要建设自己的词元工厂，也不意味着词元数量可以直接代表AI价值。更现实的判断标准，是企业能否形成统一的模型接入、资源调度、数据处理、成本核算和运行监控能力。未来的架构选型，应优先围绕业务负载和数据边界展开，以可迁移、可观测、可计量为基础，再决定算力采购和部署方式。中间服务层是否成熟，将成为企业把大模型从试验项目推进到稳定生产系统的重要分水岭。