论文
受控降级下的证据状态可靠性:多级 LLM 管道中的解析器有效性分歧
Evidence-State Reliability Under Controlled Degradation: Parser-Validity Divergence in a Multi-Stage LLM Pipeline
摘要
即使下游阶段可用的证据变得不完整、压缩或冲突,多阶段 LLM 管道也可以保持结构有效。本文介绍并实施了证据状态可靠性(ESR),这是一个评估层,涉及中间证据是否足够完整、有根据、内部一致且可用于阶段的指定功能。 ESR 与解析器有效性分开评估,解析器有效性衡量结构一致性。我们在四种证据条件下使用 GLM-5.2 在 60 个经过净化的基本案例上评估该框架:干净、压缩有损、部分丢失和噪声冲突。每个条件都经过决策、审核和升级阶段进行处理。该设计包括 720 个计划和分类的调用,以及 713 个保留的、经过清理的执行行。在九个匹配的降级-清洁条件阶段比较中,所有操作阶段成功估计均为负,并且所有 95% 的引导间隔均保持在零以下。尽管三个部分丢失间隔包括零,但所有九个解析器有效性点估计都是正的。在解析器有效的降级审计输出中,每个降级条件下的降级检测均为 1.0,而错误保证率仍不为零;在解析器有效的降级升级输出中,每种降级条件下的恢复均为 0.0。结果显示,评估的流程中存在有限的可靠性层分歧:结构一致性可以定向改善,而证据敏感阶段的成功在相同的受控干预下会恶化。他们还将退化证据的检测与恢复分开。结论仅限于评估的模型配置、管道设计、选定的净化案例、评分程序和单次缩放运行。