多模型路由的延迟与成本平衡，本质上是一个多目标优化问题，而非简单的“选最快”或“选最便宜”。推理网关的价值在于把这种权衡从应用代码中抽离出来，变成一个可治理、可观测、可回滚的决策层。实践中，延迟与成本的矛盾往往集中体现在两个层面：一是实时请求对低延迟的刚性需求与高性能模型的高昂单价之间的冲突；二是批处理任务对成本敏感与低端模型可能带来的质量损失和重试放大之间的冲突。网关要做的，不是寻找一个静态最优解，而是为不同服务等级、不同任务类型建立差异化的路由策略。
在延迟敏感路径上，路由决策应优先考虑首字节延迟和分位数稳定性，而非平均响应时间。网关需要实时掌握各模型服务的排队情况、限流状态和近期错误率，当主模型出现持续超时或高分位延迟恶化时，自动将流量转移至备用路径。这里的关键是健康检查不能只看接口是否返回成功，还要区分“接口可连接但首字节过慢”“请求成功但输出被截断”“频繁触发限流”等不同故障形态。对于流式交互场景，首字节延迟比完整响应耗时更能影响用户体验，路由权重应据此调整。
成本敏感路径则相反，网关应在满足最低质量门槛的前提下，比较单位有效业务成本，而非单次调用价格。成本核算需要把输入输出规模、缓存命中情况、重试次数、跨区域传输和失败处理成本都纳入考量。一条看似便宜的路由路径，如果频繁产生无效输出或触发重试，其真实成本可能并不低。因此，网关可以针对批处理和内容预处理任务设置预算上限，在候选模型中优先选择满足质量约束的成本最优路径，而非机械地选择最低价模型。
延迟与成本之间的动态平衡，最终要落到可解释的路由规则上。按任务能力路由和按服务等级路由是两种最易落地的策略：前者把请求分为结构化抽取、长文本分析、代码生成等类型，为每类指定主备模型；后者则按实时交互、后台批处理、高质量审核等等级，分别设置超时时间、重试次数和候选模型范围。两者可以叠加使用，但规则不宜过度复杂，否则难以解释和回滚。建议先从主备切换、超时熔断和基础成本统计做起，再逐步引入动态权重。
降级策略同样是延迟与成本平衡的一部分，但目标不是“换更便宜的模型”，而是在部分能力损失可接受的前提下维持核心业务可用。降级应分层设计：优先切换到同类备用模型，保持输入输出契约不变；若响应时间紧张，再缩短上下文或限制输出长度；非实时任务可转入异步队列处理；所有路径均不可用时，应返回明确的失败状态，而非生成看似完整但未经可靠推理的内容。同时要防止级联重试，每一层都应明确重试责任和总时间预算，避免故障模型承受更大压力。
可观测性是平衡延迟与成本的前提。团队需要把请求、模型选择和业务结果关联起来，分别监控基础设施层、推理服务层和业务效果层的数据。只有把首字节延迟、完整响应耗时、重试次数、熔断状态和单位有效结果成本放在同一张评估表里，才能判断路由规则是否真正适合当前业务。不同业务不能共用一套延迟目标，否则路由优化会失去方向。