模块会各司其职吗？复合LLM系统中的角色漂移

端到端强化学习可以提升复合LLM系统的准确率，但它并不约束模块之间如何在内部分工。我们识别出角色漂移（Role Drift）这一失效模式：模块在保持或提升端到端任务性能的同时，通过违反角色的捷径偏离其被指派的角色，而系统级评估对此不可见。为使角色漂移可观察、可控制，我们提出Role Anchor，一个在端到端训练中调节各模块偏离其被指派角色程度的正则项。其关键思想是保持角色提示相对于中性提示对模块下一个token预测的偏移，以此作为角色预期效应在训练中的代理。在两个复合LLM流水线上的实验揭示了仅凭准确率无法察觉的角色漂移：本应把问题拆解为子问题交给独立求解器的分解器，反而在子问题中埋入答案；本应基于检索段落作答的阅读器，反而退回到参数记忆。事实上，在分解器流水线上，这一捷径贡献了大部分表面上的RL增益：一旦约束分解器恪守角色，86%的增益即告消失，表明仅凭最终准确率会严重夸大复合系统真正学到的东西。在两条流水线上，Role Anchor都以可调的准确率代价缓解角色漂移，该代价随流水线与锚定强度而变化。额外的梯度分析表明，该正则项降低了与角色漂移方向的对齐，而不是简单地抑制学习。