桥接辅助约束以解决大型推理模型中的指令遵循

大型推理模型 (LRM) 在许多任务中表现出了令人印象深刻的能力，但它们在可靠地遵循多个指令方面遇到了困难，要么无法满足单个约束，要么难以同时平衡竞争约束。我们将这一挑战形式化为约束遵守问题（CAP）。本文介绍了一种新颖的框架，通过将指令表示为约束的结构化知识图来解决 CAP。我们的方法，约束关系图完成（CRGC），显式地对约束之间的关系进行建模，识别遵守挑战，并发现“桥梁约束”，帮助模型更好地关注和协调需求。桥接约束充当辅助指令，使主要约束更加突出和兼容。与通过一般训练方法增强指令遵循的现有方法不同，CRGC 通过利用模型自身的知识来创建更好的生成路径，从而专门提高约束满意度。在三个流行的指令遵循数据集上进行的实验表明，与标准提示相比，我们的方法将约束违规减少了 39%，同时保持了大型推理模型的推理能力。