长上下文方案的总拥有成本,不能用“每百万令牌价格 × 调用量”简单推导。企业真正要核算的是:完成一项业务任务,需要多少输入与输出、多少次检索和重试、多少人工复核,以及这套系统带来的时间节省和业务收益。上下文窗口越大,并不意味着单位任务成本越低。
先算清单位任务成本
一项长文档问答任务,成本通常由五部分构成:模型输入费用、模型输出费用、检索与预处理费用、失败重试费用,以及人工复核成本。若采用知识库检索,用户的一次提问可能先经过查询改写、检索、重排,再调用生成模型;表面上是一次问答,实际可能产生多次请求。
因此,比较方案时应使用“单任务总成本”,而不是只比较模型单价。长上下文方案可能减少文档切分、检索和拼接逻辑,却会增加单次输入规模;短上下文方案可能降低单次输入量,却增加系统组件和调用次数。两者都应放到同一业务任务中核算。
把隐性成本纳入模型
响应速度、失败率和人工审核往往比调用价格更容易被忽略。文档接近上下文上限时,可能出现等待时间增加、输出截断或回答不完整;如果答案需要人工逐条核验,模型节省的时间也会被抵消。对合同审查、合规分析等任务,关键事实漏检的代价还可能远高于普通摘要中的措辞偏差。
数据安全同样属于总拥有成本。长文档会把更多合同、客户记录或经营信息集中送入一次请求,企业需要核验数据是否保存、是否用于训练、如何删除、能否进行权限控制与操作审计。若为节省几次检索调用而扩大敏感数据暴露面,综合成本反而可能上升。
用真实任务做验收
采购前应建立接近业务的测试集,覆盖长篇报告、多版本合同、跨文档比较,以及关键答案位于文档中部的情况。同时加入“文档中不存在答案”的测试,观察模型是否会在缺乏依据时给出确定结论。
验收指标至少包括准确性、引用对应关系、关键信息完整性、重复提问稳定性、响应时间、失败重试率和人工复核时长。最终还要与现有流程对照:完成同一任务节省了多少时间,减少了多少人工环节,新增了多少系统维护和安全管理负担。
长上下文应被视为一种架构选择,而不是单独的采购指标。只有当模型、检索、人工审核、安全治理和业务收益被放进同一张成本表,企业才能判断它究竟是在降低总拥有成本,还是只把成本从调用环节转移到了系统与管理环节。