论文
从原子证据到逻辑组合：复合答案选项的结构化组合推理
From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options
摘要
当答案选项需要在显式逻辑运算符下组合原子判断时，大语言模型 经常会失败，即使它们正确地判断了各个原子。我们研究由 AND、OR 和 NEITHER/NOR 连接的复合选项，引入一个框架，将每个选项分解为原子答案，并对每个选项进行对比假设评分，因此模型永远不会看到复合选项。然后，操作员约束的整数线性程序将校准分数组成单个预测。我们对 LOGICAL-COMMONSENSEQA 进行评估，并引入 LOGICAL-SATA，这是一种源自 SATA-Bench 的阅读理解基准测试。我们的框架将经过人工验证的 LOGICAL-COMMONSENSEQA 拆分上的 Macro-F1 从 48.3 提高到 77.0，将 LOGICAL-SATA 上的 Macro-F1 从 47.0 提高到 75.6，其中 NEITHER/NOR 的增益最大。