论文

Epistemic Context Learning:在基于LLM的多智能体系统中正确建立信任

Epistemic Context Learning: Building Trust the Right Way in LLM-Based Multi-Agent Systems

智能体系统模型训练强化学习Agent 协作Agentic RL

摘要

多智能体(MA)系统中的个体智能体往往缺乏鲁棒性,倾向于盲目顺从具有误导性的同伴。我们表明,这一弱点源于谄媚(sycophancy)和评估同伴可靠性的能力不足。为此,我们首先形式化历史感知参照的学习问题,将同伴的历史交互作为额外输入引入,使智能体能够估计同伴可靠性并在不确定时向可信同伴学习。这将任务从评估同伴的推理质量转变为基于交互历史估计同伴可靠性。随后,我们开发了Epistemic Context Learning(ECL):一个基于历史显式构建同伴画像来条件化预测的推理框架。我们进一步用带辅助奖励的强化学习优化ECL。实验表明,ECL使Qwen 3-4B这样的小模型能够通过准确识别可靠同伴,胜过规模大8倍、不感知历史的基线(Qwen 3-30B)。ECL还使前沿模型达到近乎完美(100%)的性能。我们证明ECL能很好地泛化到多种MA配置,并发现LLM能较好地建模信任,信任建模准确率与最终答案质量之间呈现强相关。

Epistemic Context Learning:在基于LLM的多智能体系统中正确建立信任
图2:ECL 两阶段推理框架示意。