MARS-RA：具身多智能体协作中基于多模态比较的信用分配排序聚合

摘要

信用分配是合作式多智能体强化学习中的根本性挑战，在具身AI场景中尤为突出，其特点是反馈有限且延迟，以及活跃智能体数量动态变化。我们提出MARS-RA，一个将信用分配重构为排序聚合问题的框架，利用大型多模态模型生成智能体之间基于贡献的成对比较。这一从绝对估计到相对估计的转变确保了对噪声和智能体动态参与的鲁棒性，并将比较结果转换为贡献分数，用于基于势的奖励塑形。我们为所提框架的收敛性与鲁棒性提供理论论证，并表明Shapley值可作为解释性参照。在多种类型的挑战性任务上的实验结果表明，MARS-RA能够引导智能体实现有效合作。

MARS-RA：具身多智能体协作中基于多模态比较的信用分配排序聚合：论文配图 — 图 1：合作体现人工智能系统中 MARL 信用分配的 MARS-RA 框架。智能体的视觉观察结果由 LMM 处理，根据团队贡献进行成对比较；结果通过排名聚合进行整合，以获得与贡献一致的相关性分数，这些分数通过基于潜力的奖励塑造纳入 MARL 培训中。