经投注机制去中心化聚合LLM预测

摘要

聚合来自多个大语言模型的预测越来越普遍，每个大语言模型都拥有领域专业知识或访问私有工具和数据，以提高集体预测性能。在去中心化的环境中，需要在不访问模型私人信息的情况下确定聚合权重，并且应该对战略报告保持稳健。我们提出了一系列用于 LLM 聚合（WALLA）的优势对齐投注机制，其中每个模型报告预测和学习投注，并使用投注作为权重来聚合预测。 WALLA 在净支付函数中引入留一基线，产生三个理想的属性：(1) 任意信念结构下预测的主导策略激励兼容性，(2) 优势投注对齐，其中最优投注与模型的预期得分优势成正比，以及 (3) 与预测无关的投注优化，无需最优预测即可实现投注策略的去中心化学习。我们进一步实例化了两种机制变体，它们在正常性和无套利之间进行权衡，同时维持该机制的有界最坏情况赤字。跨异构模型和私有信息设置的问答和预测基准实验表明，WALLA 在预测性能方面与集中式聚合方法相匹配，同时实现了去中心化学习、优势一致的聚合权重、不确定性意识和激励兼容的预测。

经投注机制去中心化聚合LLM预测：论文配图 — 图 1：WALLA I 的优势-投注对齐。学习投注（xx 轴）与实现得分差异 s⁡(pi,y)−b−is(p_{i},y)-b_{-i}（yy 轴），等于我们参数选择下的事后最佳投注 (c1=1,c2=1/2c_{1}=1,c_{2}=1/2， c3=1/2c_{3}=1/2)。对于图 1-4，每个面板对应一种场景：PubMedQA 上的同质模型（左上）、MedMCQA 上的异构模型（右上）、MMLU（左下）和 PubMedQA（右下）。彩色点突出显示具有上下文的模型 (PubMedQA) 或表现最佳的模型（其他数据集）。皮尔逊相关性报告在每个面板的顶部。正相关性证实了大语言模型学会根据其实现的优势进行下注。在 PubMedQA（左上和右下）上，模型成功区分它们是否收到了相关上下文，如果没有，则下注接近于零。