论文
CascadeDebate:成本感知 LLM 级联的多代理审议
CascadeDebate: Multi-Agent Deliberation for Cost-Aware LLM Cascades
摘要
级联 LLM 系统与人类专家协调不同大小的模型,以在不确定性下平衡准确性、成本和弃权。然而,每个阶段的单模型层经常会遇到不明确的查询,由于信心不足和计算扩展效率低下,导致过早升级到成本更高的模型或专家。 CascadeDebate 通过在每一层的升级边界直接插入多代理审议来解决这一差距。基于置信度的路由器仅在不确定的情况下激活轻量级代理集合,从而在内部实现共识驱动的歧义解决,而无需调用更高成本的升级。我们的统一架构将单模型推理与跨模型规模的选择性多智能体审议交替进行,最终以人类专家作为最后的后备。该设计根据查询难度动态扩展测试时计算。在涵盖科学、医学和常识的五个基准中,CascadeDebate 的性能优于强大的单模型级联和独立多智能体系统高达 26.75%。事实证明,在线阈值优化器至关重要,与固定策略相比,准确率相对提高了 20.98% 至 52.33%,并能够弹性适应现实世界的分布。