论文
先一致、后多样:异构语言模型协作中的验证优先互补
Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination
摘要
异构语言模型集成扩大了候选回答空间,但缺少有原则的标准,判断新生成答案何时可以替换已有证据支持的答案。作者把候选改进空间与替换授权分开,将后者显式化以便审计。Agreement-Before-Diversity(ABD)是一套冻结、无需标签的规则:若两个额外可信样本在固定等价关系下证实锚定答案,则保留该答案;否则用异构合成结果替换。作者证明两个精确恒等式:相对无条件合成的准确率差距,取决于一致性覆盖率及锚定答案在受保护子集中的优势;相对从不合成的差距,则取决于获授权的纠错与获授权的破坏之间的差异。两式均不假设独立性或置信度已校准,预期推理调用数约为8减去5倍覆盖率。盲测、精确ID评估中,ABD在完整LiveCodeBench-v6的175个样本上达到59.43%,Single9和HAC分别为52.57%和52.00%;在未参与调试的GPQA-Diamond划分的180个样本上达到75.00%,两个对照均为72.78%。恒等式还能把总体差异定位到可枚举的受保护层:LiveCodeBench的3个受保护样本中没有结果不一致项,覆盖率预先将门控贡献限制在1.71个百分点;GPQA-Diamond的132个受保护样本中,比较双方不一致结果分别为13个与8个;冻结锚点扰动下的71个样本中则为12个与0个。多样性提供改进潜力,验证结构提供替换授权。