多代理 LLM 校准的反事实图

多智能体 LLM 系统通常将协议视为证据：当小组中的许多智能体给出相同的答案时，该答案被认为更可靠。我们证明，在代理进行通信后，这种假设可能会失败。通信可能会导致相关故障和错误共识，因此相同的投票份额可能反映了一种拓扑中的可靠共识，但反映了另一种拓扑中的过度自信。我们提出了 CAGE-CAL，一种用于多智能体 LLM 的反事实智能体图校准框架。对于每个查询，CAGE-CAL 将观察到的通信后代理图与匹配的反事实无通信图进行比较，捕获成对故障相关性和组级依赖性。 CAGE-CAL 不是简单地计算有多少代理同意，而是估计观察依赖和非通信依赖之间的反事实转变，并相应地校准置信度。在五个基准测试中，CAGE-CAL 与具有竞争力的 ECE 相比提高了可靠性辨别能力，其校准置信度进一步改进了相对于最佳固定拓扑策略的拓扑选择。