MAC：多智能体宪法学习

宪法AI（Constitutional AI）是一种基于一组以自然语言书写的规则来监督和控制LLM的方法。这些规则通常由人类专家撰写，但只要有足够的面向目标行为的训练数据，原则上也可以自动学习得到。现有基于LLM的提示优化器尝试这样做，但在学习宪法方面效果不佳，原因在于：（i）它们需要大量标注样本；（ii）优化后的提示缺乏结构，随着提示规模增大改进效果递减。为解决这些局限，我们提出多智能体宪法学习（Multi-Agent Constitutional Learning，MAC），它将结构化提示表示为规则集合并在其上进行优化，利用一个由专职智能体组成的网络来接受、编辑或拒绝规则更新。我们还提出了MAC+，它通过在成功轨迹上训练智能体来强化那些带来更高奖励的更新，从而提升性能。我们在标注个人身份信息（PII）这一标签有限且可解释性至关重要的分类任务上评估MAC，并证明它能泛化到工具调用等其他智能体任务。MAC比近期的提示优化方法高出50%以上，产出人类可读、可审计的规则集，并在不需要参数更新的情况下达到与监督微调和GRPO相当的性能。