冲突专家的可靠融合

我们研究在嘈杂、容易发生冲突的环境中汇总多个黑匣子专家的意见的问题，其中专家的可靠性因输入而异。静态聚合方法（例如多数投票）无法捕获这种可变性，并且在分歧的情况下通常会产生不可靠的结果。我们提出了一种易于处理、基于概率电路的融合框架，该框架使用特定于上下文的可信度估计动态地结合专家的响应，从而实现有原则且可靠的推理。该框架对于底层专家来说是不可知的，不需要访问他们的内部代表或任何再培训。我们使用多个大语言模型作为专家，通过与单个模型和静态集成基线进行比较，对多项选择题回答任务的方法进行实证验证。我们的方法不断提高预测性能并在冲突下产生更可靠的决策，突出了上下文感知可信度建模对于稳健的多专家融合的有效性。