论文
解构指令遵循：用于细粒度评估大语言模型指令遵从能力的新基准
Deconstructing Instruction-Following: A New Benchmark for Granular Evaluation of Large Language Model Instruction Compliance Abilities
摘要
可靠地确保大语言模型（LLM）遵循复杂指令是一个关键挑战，因为现有基准往往无法反映真实使用场景，或将遵从性与任务成功混为一谈。我们提出MOSAIC（MOdular Synthetic Assessment of Instruction Compliance），一个模块化框架，使用动态生成的数据集，包含最多20个面向应用的生成约束，从而实现对这一能力的细粒度且独立的分析。我们基于该新基准对来自不同家族的五个LLM进行评估，结果表明遵从性并非单一整体能力，而是随约束类型、数量和位置显著变化。分析揭示了模型特有的弱点，发现指令之间的协同与冲突交互，并识别出首因效应和近因效应等不同的位置偏差。这些细粒度洞见对于诊断模型故障，以及为要求严格遵守复杂指令的系统开发更可靠的LLM至关重要。
