论文

多智能体LLM审议中的隐藏锚

Hidden Anchors in Multi-Agent LLM Deliberation

模型评测模型行为与机制分析

摘要

多智能体LLM审议——智能体跨数轮交换并修订答案——日益用于改进推理与准确率——但它如何及为何起作用很少被建模。此类 deliberation 镜像人类如何达成决策。作为社会动物——我们既被群体拉动(DeGroot与Friedkin-Johnsen等经典观点动力学模型捕捉的羊群效应)——也被自己的内在信念拉动——后者它们没有建模。我们把多智能体审议建模为闭环动力系统——每个智能体携带隐藏的内在信念(其锚)——无论邻居如何都持续拉动其观点。我们表明该锚可仅从审议中恢复——且它解释了经典共识规则禁止的行为:智能体对正确答案的信心可以爬过任何智能体的起点——逃出初始信念形成的空间(凸包)。检验恢复的锚是否也预测留出运行(泛化)——给出模型何时真正被此类锚驱动的简单测试。跨三个开放权重模型家族——这是一个光谱而非全有全无。所有锚的影响强度大体相同——但锚的位置不同——只有当锚远离初始观点时——审议才逃出凸包——才需要完整闭环模型。

多智能体LLM审议中的隐藏锚:论文配图
图 1:根据 §3.1 协议(n=3n{=}3 个代理,环形拓扑),黄金类 (COVID) 和竞争类(普通感冒)的概率轨迹(片段)。左图和中图显示了用智能体真实的第一轮信念初始化的开环基线(DeGroot 和 Friedkin-Johnsen):每个类别都保持在其初始值的范围内,正如属性 1 所保证的那样。右图(突出显示)显示了真正的 LLM 循环审议:黄金级概率增长超过所有代理的最大初始值,即本文其余部分解释的经验异常 (5)。