衡量大模型调用的成本，很多团队仍停留在"单次调用多便宜"这个维度上，比较不同模型或供应商的每千 token 报价，谁低就用谁。这个口径在验证阶段尚可，一旦进入规模化调用，它会系统性地低估真实支出。更合理的核心指标是单位成功成本——综合重试、失败与缓存命中之后，真正产生一次有效结果的平均成本。
这个转变的关键，在于把"报价"和"落账"分开看。调用的名义单价只是起点，中间会被三类因素反复放大或缩减。重试是第一类：失败请求重新发起会叠加 token 消耗，若在网络抖动时缺乏节制，重试还可能演变成"重试风暴"，既推高成本又拖垮稳定性。失败是第二类：没有产出有效结果的调用，其 token 并不会因为"白跑一趟"而免费。缓存命中则是反方向的变量：命中后省去一次完整推理，直接摊薄了平均成本。只有把这三者一起计入分母，成本数字才对应真实的业务价值。
单位成功成本也重新定义了"便宜"的判断方式。既然计费单位是 token，一次短问答和一次长文档摘要同样是一次请求，成本却差异很大，用请求数估算预算必然失真。与此同时，模型价格本身差异巨大，即便同一个开源模型，在不同无服务器厂商之间也可能出现约 2 倍的价差。这意味着成本评估需要可见性作支撑——能够按模型、供应商、项目、Key 拆分用量，才谈得上准确归集一次成功结果的成本构成。
这一指标如何改变调用策略
一旦以单位成功成本为准绳，分级路由的价值就不再是"用便宜模型省钱"这么简单，而是用恰当的模型降低整体有效成本：简单任务交给更便宜的模型、复杂任务才上高价模型，有实践将这种降本幅度估算在 20%–40% 区间。前提是失败率和重试不会把节省吞掉。同理，缓存只有在命中结果仍然"正确"时才算净收益，否则返回与当前策略不一致的旧答案，看似省钱，实则制造了新的无效产出。
因此，评估大模型调用是否划算，真正该问的不是单价高低，也不是接入了多少模型，而是每一次有效结果到底花了多少钱，以及这个数字能否被持续度量和控制。把评估口径从"单次调用"切换到"单位成功"，成本管理才算抓住了要害。