论文

输出分散会带来认知修订吗?机器群体的黑盒耦合诊断

When Outputs Disperse, Does Epistemic Revision Follow? A Black-Box Coupling Diagnostic for Machine Collectives

模型评测评测方法与指标

摘要

集体智能研究将分歧视为证据,表明知识基础的多样性:如果代理表达不同的观点,则群体应保留修订能力。在LLM群体中,这种替代品可能失效:代理可以产生看似多元的观点而保持相同的结论。我们实施数字化分散-修订耦合:干预措施增加集体输出空间中的分散度,并伴随真正的修订而非前提保真改写。诊断是黑盒:它仅基于生成的文本进行操作且不涉及模型生成内部表示。两个渠道被独立测量:一个输出通道,Coherence Index (CI)验证了干预改变了输出分散度;另一个认知通道,每轮立场注释,衡量集体是否修订。我们提议CI与Meta-Predictive Clarity System (MPCS)结合使用,当输出过度收敛时插入Re-Differentiation Protocol (RDP),作为估算这种耦合状态的可复用方法。我们在两个配置(gpt-4o-mini和gemini-2.5-flash;每个条件310对配对实验)中评估了五代理群体。在gpt-4o-mini上,条件性分歧提高了虚假前提恢复率+17.7点(p<1e-6),而静态角色多样性损害恢复率-8.1点(p=.007)。在gemini-2.5-flash上,相同的干预措施在相同预算下没有收益(26.1% vs 27.1%,p=.84),尽管有验证的分散度下降;两个治疗效果彼此不同(z=3.79,p<.001)。机制标签显示,gemini通过内部框架分歧保留虚假前提:94%标记后的回复改写而非让步(vs 24%在GPT上)。我们建议同时报告每干预的立场变化和前提保真率。

输出分散会带来认知修订吗?机器群体的黑盒耦合诊断:论文配图
图 1. 耦合诊断框架。通过 CI(固定外部编码器下的输出嵌入分散度)的下降,在输出级别验证异议干预。认知反应是通过立即的立场转变以及该转变是否承认错误的前提或仅仅重新表述它来独立测量的。该诊断将强耦合与弱耦合区分开来,强耦合是经过验证的输出分散,伴随着真正的修正,弱耦合仅伴随着表面上的异议,集体会回到先前的信念。该框架自始至终都是黑盒:两个通道都是根据生成的文本计算的。