论文

多主体 LLM 委员会中的表征坍缩:测量和多样性意识共识

Representational Collapse in Multi-Agent LLM Committees: Measurement and Diversity-Aware Consensus

模型评测模型行为与机制分析

摘要

多智能体 LLM 委员会在不同的角色提示下复制相同的模型,并通过多数投票汇总输出,隐含地假设智能体提供补充证据。我们嵌入每个代理的思想链基本原理并测量成对相似性:在三个 Qwen2.5-14B 代理的 100 个 GSM8K 问题中,平均余弦相似度为 0.888,有效秩为 2.17(满分 3.0),我们将这种失败模式称为表征坍缩。 DALC 是一种 无需训练 共识协议,通过嵌入几何计算多样性权重,在 GSM8K 上达到 87%,而自我一致性则达到 84%,而词元成本降低了 26%。消融实验揭示了每个协议运行间的 1-3 点差异,确认提示共享比单独的多样性加权贡献更大,并表明编码器选择强烈调节崩溃严重性(mxbai 的余弦 0.908 与 nomic 的 0.888)和下游精度。更可靠的发现是,崩溃是可测量的,在更困难的任务上会恶化,并且嵌入代理的选择是任何潜在通信协议的一阶设计决策。