论文

图反馈控制开放权重语言模型群体中的共识与派系形成

Graph Feedback Controls Consensus and Clique Formation in Open-Weight Language-Model Populations

智能体系统上下文与知识记忆Agent 协作Agent记忆

摘要

多智能体语言模型(LM)系统常需决定哪些智能体相互通信,但路由通常被视为实现细节。我们追问:路由本身是否决定一个群体收敛于共享约定,还是碎片化为持续存在的派系。我们在受控命名游戏中研究跨1.1B–32B参数的开放权重智能体:同时追踪发出的标签与全部允许标签上的首token偏好分布。基于相似度的路由可以隔离新兴约定并维持碎片化——即使每个智能体在每一轮都与所有其他智能体交互。匹配对照显示该效应不能仅由参与不均或模型家族特有的分数偏好解释:在保留伙伴标签历史时,随机重新配对与连接分歧群体的策略改善协调;缺失历史时则不然。然而仅有暴露并不足够——一些混合模型群体尽管频繁跨家族交互仍然分裂,尽管相同模型同构协调。轨迹与受控历史分析进一步区分达成共识与维持共识。最后,ARC-Challenge与MMLU实验显示路由改变正确与错误答案的传播方式,却不能可靠提升准确率。结果确立运行时交互图是一个因果设计变量——其效应共同依赖记忆、模型响应与种群构成。

图反馈控制开放权重语言模型群体中的共识与派系形成:论文配图
图 1:相似性阈值和网桥路由的示意图比较。左:未来的合作伙伴只有在上一轮的分数状态足够相似时才有资格。当两个群体分开时,他们之间的互动就会消失,而每个群体内部都会继续进行。右图:桥接策略有意将来自不同分数状态组或具有不同采样标签的代理连接起来,允许合作伙伴标签证据在组之间移动。这种暴露是否会产生持久的一致性还取决于模型如何响应他们收到的证据。