把一份长合同交给大模型,得到带有页码的答案,并不等于完成了核查:引文可能指向无关条款,例外条件可能被遗漏,低价模型也可能因反复重试而增加总成本。判断哪款模型更可靠,需要让它们处理同一批文档、回答同一组问题,再逐条核对证据和费用。
本文不发布模型排名或“引文准确率”数字。目前没有可供核验的同题调用记录、原始回答与账单,也未完成参测版本及计费规则的发布前核验;将资料摘录或单次体验写成机器实测结果,会误导需要据此选型的读者。下面给出可复现的测试口径,以及拿到结果后应如何解读。

同题测试,先固定文档和问题
测试材料应选用允许公开使用的长合同、报告和技术文档,保留文件版本与原始页码。扫描件还需记录文字识别结果;否则,识别错误与模型阅读错误会混在一起。每份文档预先设置三类问题:能在单一位置找到答案的事实题、需要跨章节合并信息的归纳题,以及文档没有提供答案的拒答题。
在调用前,人工制作答案清单,列明每题必须覆盖的事实、限制条件及其所在页码或段落。例如,问“合同何时可以终止”,答案清单不能只记终止期限,还要列出适用前提、通知要求和例外条款。所有参测模型使用同一份可读取文本、同一提示词和相同的输出格式要求;若某模型需要拆分文档,必须单独记录拆分与检索步骤,不能与整篇直接输入的结果混为一谈。
版本、输入方式和参数同样属于测试条件。记录至少应包括模型的准确版本标识、调用日期、上下文与输出限制、是否启用检索或缓存、重试规则。网页产品与 API 的文件处理方式可能不同,应分组比较,而不是仅凭产品名称合并成绩。
引文、遗漏和成本分别怎么算
引文准确率不能只看回答里有没有“第几页”。每条引文都应回到原文,检查所指位置是否存在、是否支持紧邻的具体主张,以及是否漏掉会改变结论的限定语。找不到位置、位置正确但不支持结论,应分别记录。
信息遗漏则按预制答案清单计数:应答事实有多少项,实际覆盖多少项;关键例外条件缺失时,另作醒目标注。模型对没有答案的问题明确说明“文档未载明”,也应与猜测作答区分。为避免一次输出碰巧较好或较差,每道题宜重复运行,并保留全部原始回答,而非只展示最好的一次。
使用成本至少要同时呈现完成时间和实际计费。可记录每次调用的输入、输出及缓存用量,失败调用与重试次数,再按当次适用的官方计费规则计算单题和整份文档费用。单价不是任务总价;更长的回答、更多次重试,都会改变最终支出。
| 必须公开的原始项目 | 读者据此能核查什么 |
|---|---|
| 文档版本、页码与问题清单 | 各模型是否面对同一任务 |
| 模型版本、参数、输入及检索方式 | 差异是否来自测试条件 |
| 每次完整回答及对应原文位置 | 引文是否真正支持结论 |
| 应答事实清单与逐项判定 | 哪些信息被遗漏 |
| 调用时间、用量、重试及计费依据 | 时间与成本是否可复算 |
即使得到上述数据,结论也只能限定在参测文档和任务内。合同条款定位表现较好,不代表技术报告的跨章节归纳同样可靠;一次平均分高,也不能掩盖某次漏掉关键免责条件的风险。采购或上线前,更值得关注的是本单位高风险问题上的错误类型,以及人工复核能否及时发现错误。
【软盟资讯观察】
长文档问答的竞争,正在从“能放进多少文字”转向“能否给出可核查的答案”。对企业而言,机会是把条款查找、报告对照等耗时工作交给模型做初筛,让人员集中处理例外和冲突;风险则是把附有页码的流畅回答误当成已核实结论。冷静的选型方式不是寻找一张通用榜单,而是建立自己的文档集和答案清单,持续记录版本变化后的引文错误、关键遗漏与重试成本。对合同、合规等高风险任务,模型输出应保留原文回溯路径和人工确认环节。只有公开条件、原始输出与计费口径的同题实测,才足以支持“哪款更可靠”的判断。
