企业大模型选型不应从“哪个模型排名最高”开始,而应从“哪些任务必须被可靠完成”开始。公开榜单可以帮助企业缩小观察范围,但不能替代内部评测:不同测试集、题型、评分方式和使用环境,会导致模型排名频繁变化,单项高分也未必能迁移到企业真实业务。
先把业务需求转成评测任务
内部评测的第一步,是把“建设智能助手”拆解为可验证的任务。例如客服可以拆为意图识别、知识检索、答案生成、工单分类和风险升级;销售可以拆为客户信息整理、商机判断、话术生成和跟进提醒。每项任务都要明确输入、输出、成功标准、允许的错误范围,以及何时必须转交人工。
测试集不宜只包含理想样本,至少应覆盖三类情况:代表日常业务的常规样本,包含信息缺失、口语表达和复杂上下文的边界样本,以及涉及敏感信息、权限边界和错误指令的风险样本。只有这样,评测结果才不会被少量“容易题”掩盖。
建立多维度评分,而非单一总分
企业应分别记录任务完成质量、稳定性、可控性、工程适配、成本和安全表现。质量不仅是答案是否流畅,更要判断事实是否准确、格式是否符合要求、流程是否真正完成;稳定性则要观察相同或相近输入多次调用时,核心结论是否一致,长上下文和系统负载变化后是否出现明显波动。
测试条件也必须统一,包括提示词模板、上下文内容、检索方式、工具权限、响应时间要求和输出格式。否则,模型之间的差异可能来自配置,而不是模型能力。除正确率外,还应记录错误类型、失败重试、人工复核和错误处理成本。综合成本应覆盖模型调用、系统资源、人工复核与错误修复,而不能只看调用价格。
让评测进入持续运营
一次演示或一次测试无法证明模型适合长期运行。企业应保留固定测试集,持续加入新的业务样本,并在模型、提示词、知识库或接口发生变化后进行回归测试。对高风险任务,还要验证模型能否拒绝越权请求、标识不确定性、保留必要记录,并明确人工审核节点。
最终,评测结果应服务于采购、上线和运营决策。技术团队验证接入与部署条件,业务团队判断任务价值,安全团队检查数据边界,运营团队核算长期成本。只有把这些判断沉淀为可复现的内部机制,企业才能从“谁排在前面”转向“谁在自己的任务中更可靠”。