论文
基本原理传达什么?角色专业 QA 中的消息干预研究
What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA
摘要
角色专用的 QA 管道越来越多地将基本原理从推理者传递给验证者,但尚不清楚此消息实际购买的是什么:更好的答案、更强的支持评估或新的失败面。我们引入了一种消息干预诊断,可以修复证据和候选答案,同时仅改变跨越推理器到验证器边界的基本原理。在使用 DeepSeek 作为生成器和验证器的 400 个 MuSiQue、HotpotQA 和 2WikiMultiHopQA 示例中,忠实的基本原理几乎不会在没有基本原理的情况下增加答案准确性,而损坏的基本原理会强烈改变支持判断。在盲目验证者提示下,无害的释义仅使支持率改变 0--2.5%,而损坏的理由则使支持率改变 10--22%;明确的理由检查提示将相同的模式放大到 34--55%。最终答案移动较少 (2--30%),只有 2.9--35.3% 的损坏支持翻转与答案更改同时发生。人类审计表明了为什么这很重要:16/42 有效的腐败是腐败过度信任的案例,而盲目的人类会拒绝或标记模型接受的 9/10 经审计的腐败理由不清楚。跨模型和任务边界检查显示通道何时处于活动状态、放大状态、惰性状态或折叠到任务标签中。理由共享应被视为一种验证消息机制,而不仅仅是作为获得更高答案准确性的途径。